2019年3月27日 ——ACM宣布，深度學(xué)習(xí)的三位創(chuàng)造者Yoshua Bengio, Yann LeCun, 以及Geoffrey Hinton獲得了2019年的圖靈獎(jiǎng)。

一、簡(jiǎn)介及獲獎(jiǎng)理由

簡(jiǎn)介：杰弗里·欣頓（GeofferyHinton），在愛丁堡大學(xué)獲得人工智能博士學(xué)位。現(xiàn)任谷歌副總裁、工程研究員、多倫多人工智能矢量研究所首席科學(xué)顧問、多倫多大學(xué)名譽(yù)教授。他是加拿大先進(jìn)研究院神經(jīng)計(jì)算和自適應(yīng)項(xiàng)目（Neural Computation and Adaptive Perception Program）的創(chuàng)始人，還獲得了包括加拿大最高榮譽(yù)勛章（Companion of the Order of Canada）、英國(guó)皇家學(xué)會(huì)成員、美國(guó)工程院外籍院士、人工智能國(guó)際聯(lián)合會(huì)（IJCAI）杰出研究獎(jiǎng)、IEEE詹姆斯·克拉克·麥克斯韋金獎(jiǎng)（IEEE James Clerk Maxwell Gold Medal）等一系列榮譽(yù)。2017年被彭博社（Bloomberg）評(píng)為改變?nèi)蛏虡I(yè)格局的 50 人之一。

主要貢獻(xiàn)：在ACM的公告中，Hinton最重要的貢獻(xiàn)來自他1986年發(fā)明反向傳播的論文“LearningInternal Representations by Error Propagation”，1983年發(fā)明的玻爾茲曼機(jī)（Boltzmann Machines），以及2012年對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。Hinton和他的學(xué)生Alex Krizhevsky以及Ilya Sutskever 通過Rectified Linear Neurons和 Dropout Regularization改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)，并在著名的ImageNet評(píng)測(cè)中取得了很好的成績(jī)，在計(jì)算機(jī)視覺領(lǐng)域掀起一場(chǎng)革命。

?

?

簡(jiǎn)介：約書亞·本希奧（Yoshua Bengio），在加拿大麥吉爾大學(xué)取得計(jì)算機(jī)博士學(xué)位。現(xiàn)為加拿大蒙特利爾大學(xué)教授、加拿大數(shù)據(jù)定價(jià)中心主任（IVADO）、蒙特利爾學(xué)習(xí)算法研究中心（Mila）科學(xué)主任、加拿大先進(jìn)研究院主任。同時(shí)，他與楊立昆一起擔(dān)任加拿大先進(jìn)研究院機(jī)器與大腦學(xué)習(xí)項(xiàng)目的主管。他創(chuàng)建了目前世界上最大的深度學(xué)習(xí)研究中心——蒙特利爾學(xué)習(xí)算法研究中心（MILA），使蒙特利爾成為世界上人工智能研究最為活躍的地區(qū)之一，引來大批公司和研究室入駐。

?

主要貢獻(xiàn)：Bengio的貢獻(xiàn)主要在1990年代發(fā)明的Probabilistic models of sequences。他把神經(jīng)網(wǎng)絡(luò)和概率模型（例如隱馬爾可夫模型）結(jié)合在一起，并和AT&T公司合作，用新技術(shù)識(shí)別手寫的支票。現(xiàn)代深度學(xué)習(xí)技術(shù)中的語音識(shí)別也是這些概念的擴(kuò)展。此外Bengio還于2000年還發(fā)表了劃時(shí)代的論文“A Neural Probabilistic Language Model”，使用高維詞向量來表征自然語言。他的團(tuán)隊(duì)還引入了注意力機(jī)制，讓機(jī)器翻譯獲得突破，也成為了讓深度學(xué)習(xí)處理序列的重要技術(shù)。

簡(jiǎn)介：楊立昆（Yann LeCun），在法國(guó)皮埃爾和瑪麗·居里大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位。現(xiàn)任紐約大學(xué)柯朗數(shù)學(xué)科學(xué)研究所 Silver 冠名教授、Facebook 公司人工智能首席科學(xué)家、副總裁。他獲得了包括美國(guó)工程院院士、IEEE神經(jīng)網(wǎng)絡(luò)先鋒獎(jiǎng)（IEEE Neural Network PioneerAward）等一系列榮譽(yù)。他還是紐約大學(xué)數(shù)據(jù)科學(xué)中心的創(chuàng)始人，與約書亞·本希奧一起擔(dān)任加拿大先進(jìn)研究院機(jī)器與大腦學(xué)習(xí)項(xiàng)目的主管。

主要貢獻(xiàn)：Yann LeCun的代表貢獻(xiàn)之一是卷積神經(jīng)網(wǎng)絡(luò)。1980年代，LeCun發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，現(xiàn)在已經(jīng)成為了機(jī)器學(xué)習(xí)領(lǐng)域的基礎(chǔ)技術(shù)之一，也讓深度學(xué)習(xí)效率更高。1980年代末期，Yan LeCun在多倫多大學(xué)和貝爾實(shí)驗(yàn)室工作期間，首次將卷積神經(jīng)網(wǎng)絡(luò)用于手寫數(shù)字識(shí)別。今天，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為了業(yè)界標(biāo)準(zhǔn)技術(shù)，廣泛用于計(jì)算機(jī)視覺、語音識(shí)別、語音合成、圖片合成，以及自然語言處理等學(xué)術(shù)方向，以及自動(dòng)駕駛、醫(yī)學(xué)圖片識(shí)別、語音助手、信息過濾等工業(yè)應(yīng)用方向。LeCun的第二個(gè)重要貢獻(xiàn)是改進(jìn)了反向傳播算法。他提出了一個(gè)早期的反向傳播算法backprop，也根據(jù)變分原理給出了一個(gè)簡(jiǎn)潔的推導(dǎo)。他的工作讓反向傳播算法更快，比如描述了兩個(gè)簡(jiǎn)單的方法可以減少學(xué)習(xí)時(shí)間。LeCun第三個(gè)貢獻(xiàn)是拓展了神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。他把神經(jīng)網(wǎng)絡(luò)變成了一個(gè)可以完成大量不同任務(wù)的計(jì)算模型。他早期引進(jìn)的一些工作現(xiàn)在已經(jīng)成為了人工智能的基礎(chǔ)概念。例如，在圖片識(shí)別領(lǐng)域，他研究了如何讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)層次特征，這一方法現(xiàn)在已經(jīng)用于很多日常的識(shí)別任務(wù)。他們還提出了可以操作結(jié)構(gòu)數(shù)據(jù)（例如圖數(shù)據(jù)）的深度學(xué)習(xí)架構(gòu)。

二、Yann LeCun、YoshuaBengio和Geoffrey Hinton關(guān)于深度學(xué)習(xí)的聯(lián)合綜述

深度學(xué)習(xí)可以讓那些擁有多個(gè)處理層的計(jì)算模型來學(xué)習(xí)具有多層次抽象的數(shù)據(jù)的表示。這些方法在許多方面都帶來了顯著的改善，包括最先進(jìn)的語音識(shí)別、視覺對(duì)象識(shí)別、對(duì)象檢測(cè)和許多其它領(lǐng)域，例如藥物發(fā)現(xiàn)和基因組學(xué)等。深度學(xué)習(xí)能夠發(fā)現(xiàn)大數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)。它是利用BP算法來完成這個(gè)發(fā)現(xiàn)過程的。BP算法能夠指導(dǎo)機(jī)器如何從前一層獲取誤差而改變本層的內(nèi)部參數(shù)，這些內(nèi)部參數(shù)可以用于計(jì)算表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來了突破，而遞歸網(wǎng)絡(luò)在處理序列數(shù)據(jù)，比如文本和語音方面表現(xiàn)出了閃亮的一面。

機(jī)器學(xué)習(xí)技術(shù)在現(xiàn)代社會(huì)的各個(gè)方面表現(xiàn)出了強(qiáng)大的功能：從Web搜索到社會(huì)網(wǎng)絡(luò)內(nèi)容過濾，再到電子商務(wù)網(wǎng)站上的商品推薦都有涉足。并且它越來越多地出現(xiàn)在消費(fèi)品中，比如相機(jī)和智能手機(jī)。

機(jī)器學(xué)習(xí)系統(tǒng)被用來識(shí)別圖片中的目標(biāo)，將語音轉(zhuǎn)換成文本，匹配新聞元素，根據(jù)用戶興趣提供職位或產(chǎn)品，選擇相關(guān)的搜索結(jié)果。逐漸地，這些應(yīng)用使用一種叫深度學(xué)習(xí)的技術(shù)。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)在處理未加工過的數(shù)據(jù)時(shí)，體現(xiàn)出來的能力是有限的。

幾十年來，想要構(gòu)建一個(gè)模式識(shí)別系統(tǒng)或者機(jī)器學(xué)習(xí)系統(tǒng)，需要一個(gè)精致的引擎和相當(dāng)專業(yè)的知識(shí)來設(shè)計(jì)一個(gè)特征提取器，把原始數(shù)據(jù)（如圖像的像素值）轉(zhuǎn)換成一個(gè)適當(dāng)?shù)膬?nèi)部特征表示或特征向量，子學(xué)習(xí)系統(tǒng)，通常是一個(gè)分類器，對(duì)輸入的樣本進(jìn)行檢測(cè)或分類。特征表示學(xué)習(xí)是一套給機(jī)器灌入原始數(shù)據(jù)，然后能自動(dòng)發(fā)現(xiàn)需要進(jìn)行檢測(cè)和分類的表達(dá)的方法。

深度學(xué)習(xí)就是一種特征學(xué)習(xí)方法，把原始數(shù)據(jù)通過一些簡(jiǎn)單的但是非線性的模型轉(zhuǎn)變成為更高層次的，更加抽象的表達(dá)。通過足夠多的轉(zhuǎn)換的組合，非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。

對(duì)于分類任務(wù)，高層次的表達(dá)能夠強(qiáng)化輸入數(shù)據(jù)的區(qū)分能力方面，同時(shí)削弱不相關(guān)因素。比如，一副圖像的原始格式是一個(gè)像素?cái)?shù)組，那么在第一層上的學(xué)習(xí)特征表達(dá)通常指的是在圖像的特定位置和方向上有沒有邊的存在。第二層通常會(huì)根據(jù)那些邊的某些排放而來檢測(cè)圖案，這時(shí)候會(huì)忽略掉一些邊上的一些小的干擾。第三層或許會(huì)把那些圖案進(jìn)行組合，從而使其對(duì)應(yīng)于熟悉目標(biāo)的某部分。隨后的一些層會(huì)將這些部分再組合，從而構(gòu)成待檢測(cè)目標(biāo)。

深度學(xué)習(xí)的核心方面是，上述各層的特征都不是利用人工工程來設(shè)計(jì)的，而是使用一種通用的學(xué)習(xí)過程從數(shù)據(jù)中學(xué)到的。

深度學(xué)習(xí)正在取得重大進(jìn)展，解決了人工智能界的盡最大努力很多年仍沒有進(jìn)展的問題。它已經(jīng)被證明，它能夠擅長(zhǎng)發(fā)現(xiàn)高維數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，因此它能夠被應(yīng)用于科學(xué)、商業(yè)和政府等領(lǐng)域。除了在圖像識(shí)別、語音識(shí)別等領(lǐng)域打破了紀(jì)錄，它還在另外的領(lǐng)域擊敗了其他機(jī)器學(xué)習(xí)技術(shù)，包括預(yù)測(cè)潛在的藥物分子的活性、分析粒子加速器數(shù)據(jù)、重建大腦回路、預(yù)測(cè)在非編碼DNA突變對(duì)基因表達(dá)和疾病的影響。

也許更令人驚訝的是，深度學(xué)習(xí)在自然語言理解的各項(xiàng)任務(wù)中產(chǎn)生了非常可喜的成果，特別是主題分類、情感分析、自動(dòng)問答和語言翻譯。我們認(rèn)為在不久的將來，深度學(xué)習(xí)將會(huì)取得更多的成功，因?yàn)樗枰苌俚氖止すこ?#xff0c;它可以很容易受益于可用計(jì)算能力和數(shù)據(jù)量的增加。目前正在為深度神經(jīng)網(wǎng)絡(luò)開發(fā)的新的學(xué)習(xí)算法和架構(gòu)只會(huì)加速這一進(jìn)程。

▌監(jiān)督學(xué)習(xí)

機(jī)器學(xué)習(xí)中，不論是否是深層，最常見的形式是監(jiān)督學(xué)習(xí)。

試想一下，我們要建立一個(gè)系統(tǒng)，它能夠?qū)σ粋€(gè)包含了一座房子、一輛汽車、一個(gè)人或一個(gè)寵物的圖像進(jìn)行分類。我們先收集大量的房子，汽車，人與寵物的圖像的數(shù)據(jù)集，并對(duì)每個(gè)對(duì)象標(biāo)上它的類別。在訓(xùn)練期間，機(jī)器會(huì)獲取一副圖片，然后產(chǎn)生一個(gè)輸出，這個(gè)輸出以向量形式的分?jǐn)?shù)來表示，每個(gè)類別都有一個(gè)這樣的向量。我們希望所需的類別在所有的類別中具有最高的得分，但是這在訓(xùn)練之前是不太可能發(fā)生的。通過計(jì)算一個(gè)目標(biāo)函數(shù)可以獲得輸出分?jǐn)?shù)和期望模式分?jǐn)?shù)之間的誤差（或距離）。然后機(jī)器會(huì)修改其內(nèi)部可調(diào)參數(shù)，以減少這種誤差。這些可調(diào)節(jié)的參數(shù)，通常被稱為權(quán)值，它們是一些實(shí)數(shù)，可以被看作是一些“旋鈕”，定義了機(jī)器的輸入輸出功能。

在典型的深學(xué)習(xí)系統(tǒng)中，有可能有數(shù)以百萬計(jì)的樣本和權(quán)值，和帶有標(biāo)簽的樣本，用來訓(xùn)練機(jī)器。為了正確地調(diào)整權(quán)值向量，該學(xué)習(xí)算法計(jì)算每個(gè)權(quán)值的梯度向量，表示了如果權(quán)值增加了一個(gè)很小的量，那么誤差會(huì)增加或減少的量。權(quán)值向量然后在梯度矢量的相反方向上進(jìn)行調(diào)整。我們的目標(biāo)函數(shù)，所有訓(xùn)練樣本的平均，可以被看作是一種在權(quán)值的高維空間上的多變地形。負(fù)的梯度矢量表示在該地形中下降方向最快，使其更接近于最小值，也就是平均輸出誤差低最低的地方。

在實(shí)際應(yīng)用中，大部分從業(yè)者都使用一種稱作隨機(jī)梯度下降的算法（SGD）。它包含了提供一些輸入向量樣本，計(jì)算輸出和誤差，計(jì)算這些樣本的平均梯度，然后相應(yīng)的調(diào)整權(quán)值。通過提供小的樣本集合來重復(fù)這個(gè)過程用以訓(xùn)練網(wǎng)絡(luò)，直到目標(biāo)函數(shù)停止增長(zhǎng)。它被稱為隨機(jī)的是因?yàn)樾〉臉颖炯瘜?duì)于全體樣本的平均梯度來說會(huì)有噪聲估計(jì)。這個(gè)簡(jiǎn)單過程通常會(huì)找到一組不錯(cuò)的權(quán)值，同其他精心設(shè)計(jì)的優(yōu)化技術(shù)相比，它的速度讓人驚奇。訓(xùn)練結(jié)束之后，系統(tǒng)會(huì)通過不同的數(shù)據(jù)樣本——測(cè)試集來顯示系統(tǒng)的性能。這用于測(cè)試機(jī)器的泛化能力——對(duì)于未訓(xùn)練過的新樣本的識(shí)別能力。

當(dāng)前應(yīng)用中的許多機(jī)器學(xué)習(xí)技術(shù)使用的是線性分類器來對(duì)人工提取的特征進(jìn)行分類。一個(gè)2類線性分類器會(huì)計(jì)算特征向量的加權(quán)和。當(dāng)加權(quán)和超過一個(gè)閾值之后，輸入樣本就會(huì)被分配到一個(gè)特定的類別中。從20世紀(jì)60年代開始，我們就知道了線性分類器只能夠把樣本分成非常簡(jiǎn)單的區(qū)域，也就是說通過一個(gè)超平面把空間分成兩部分。

但像圖像和語音識(shí)別等問題，它們需要的輸入-輸出函數(shù)要對(duì)輸入樣本中不相關(guān)因素的變化不要過于的敏感，如位置的變化，目標(biāo)的方向或光照，或者語音中音調(diào)或語調(diào)的變化等，但是需要對(duì)于一些特定的微小變化非常敏感（例如，一只白色的狼和跟狼類似的白色狗——薩莫耶德犬之間的差異）。在像素這一級(jí)別上，兩條薩莫耶德犬在不同的姿勢(shì)和在不同的環(huán)境下的圖像可以說差異是非常大的，然而，一只薩摩耶德犬和一只狼在相同的位置并在相似背景下的兩個(gè)圖像可能就非常類似。

圖1 多層神經(jīng)網(wǎng)絡(luò)和BP算法

?

1. 多層神經(jīng)網(wǎng)絡(luò)（用連接點(diǎn)表示）可以對(duì)輸入空間進(jìn)行整合，使得數(shù)據(jù)（紅色和藍(lán)色線表示的樣本）線性可分。注意輸入空間中的規(guī)則網(wǎng)格（左側(cè)）是如何被隱藏層轉(zhuǎn)換的（轉(zhuǎn)換后的在右側(cè)）。這個(gè)例子中只用了兩個(gè)輸入節(jié)點(diǎn)，兩個(gè)隱藏節(jié)點(diǎn)和一個(gè)輸出節(jié)點(diǎn)，但是用于目標(biāo)識(shí)別或自然語言處理的網(wǎng)絡(luò)通常包含數(shù)十個(gè)或者數(shù)百個(gè)這樣的節(jié)點(diǎn)。獲得C.Olah (http://colah.github.io/)的許可后重新構(gòu)建的這個(gè)圖。

2. 鏈?zhǔn)椒▌t告訴我們兩個(gè)小的變化（x和y的微小變化，以及y和z的微小變化）是怎樣組織到一起的。x的微小變化量Δx首先會(huì)通過乘以?y/?x（偏導(dǎo)數(shù)）轉(zhuǎn)變成y的變化量Δy。類似的，Δy會(huì)給z帶來改變?chǔ)。通過鏈?zhǔn)椒▌t可以將一個(gè)方程轉(zhuǎn)化到另外的一個(gè)——也就是Δx通過乘以?y/?x和?z/?y（英文原文為?z/?x，系筆誤——編輯注）得到Δz的過程。當(dāng)x，y，z是向量的時(shí)候，可以同樣處理（使用雅克比矩陣）。

3. 具有兩個(gè)隱層一個(gè)輸出層的神經(jīng)網(wǎng)絡(luò)中計(jì)算前向傳播的公式。每個(gè)都有一個(gè)模塊構(gòu)成，用于反向傳播梯度。在每一層上，我們首先計(jì)算每個(gè)節(jié)點(diǎn)的總輸入z，z是前一層輸出的加權(quán)和。然后利用一個(gè)非線性函數(shù)f(.)來計(jì)算節(jié)點(diǎn)的輸出。簡(jiǎn)單期間，我們忽略掉了閾值項(xiàng)。神經(jīng)網(wǎng)絡(luò)中常用的非線性函數(shù)包括了最近幾年常用的校正線性單元（ReLU）f(z) = max(0,z)，和更多傳統(tǒng)sigmoid函數(shù)，比如雙曲線正切函數(shù)f(z) = (exp(z) ? exp(?z))/(exp(z) + exp(?z)) 和logistic函數(shù)f(z)= 1/(1 + exp(?z))。

4. 計(jì)算反向傳播的公式。在隱層，我們計(jì)算每個(gè)輸出單元產(chǎn)生的誤差，這是由上一層產(chǎn)生的誤差的加權(quán)和。然后我們將輸出層的誤差通過乘以梯度f(z)轉(zhuǎn)換到輸入層。在輸出層上，每個(gè)節(jié)點(diǎn)的誤差會(huì)用成本函數(shù)的微分來計(jì)算。如果節(jié)點(diǎn)l的成本函數(shù)是0.5*(yl-tl)^2, 那么節(jié)點(diǎn)的誤差就是yl-tl，其中tl是期望值。一旦知道了?E/?zk的值，節(jié)點(diǎn)j的內(nèi)星權(quán)向量wjk就可以通過yj ?E/?zk來進(jìn)行調(diào)整。

一個(gè)線性分類器或者其他操作在原始像素上的淺層分類器不能夠區(qū)分后兩者，雖然能夠?qū)⑶罢邭w為同一類。這就是為什么淺分類要求有良好的特征提取器用于解決選擇性不變性困境——提取器會(huì)挑選出圖像中能夠區(qū)分目標(biāo)的那些重要因素，但是這些因素對(duì)于分辨動(dòng)物的位置就無能為力了。為了加強(qiáng)分類能力，可以使用泛化的非線性特性，如核方法，但這些泛化特征，比如通過高斯核得到的，并不能夠使得學(xué)習(xí)器從學(xué)習(xí)樣本中產(chǎn)生較好的泛化效果。

傳統(tǒng)的方法是手工設(shè)計(jì)良好的特征提取器，這需要大量的工程技術(shù)和專業(yè)領(lǐng)域知識(shí)。但是如果通過使用通用學(xué)習(xí)過程而得到良好的特征，那么這些都是可以避免的了。這就是深度學(xué)習(xí)的關(guān)鍵優(yōu)勢(shì)。

深度學(xué)習(xí)的體系結(jié)構(gòu)是簡(jiǎn)單模塊的多層棧，所有（或大部分）模塊的目標(biāo)是學(xué)習(xí)，還有許多計(jì)算非線性輸入輸出的映射。棧中的每個(gè)模塊將其輸入進(jìn)行轉(zhuǎn)換，以增加表達(dá)的可選擇性和不變性。比如說，具有一個(gè)5到20層的非線性多層系統(tǒng)能夠?qū)崿F(xiàn)非常復(fù)雜的功能，比如輸入數(shù)據(jù)對(duì)細(xì)節(jié)非常敏感——能夠區(qū)分白狼和薩莫耶德犬，同時(shí)又具有強(qiáng)大的抗干擾能力，比如可以忽略掉不同的背景、姿勢(shì)、光照和周圍的物體等。

▌反向傳播來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)

在最早期的模式識(shí)別任務(wù)中，研究者的目標(biāo)一直是使用可以訓(xùn)練的多層網(wǎng)絡(luò)來替代經(jīng)過人工選擇的特征，雖然使用多層神經(jīng)網(wǎng)絡(luò)很簡(jiǎn)單，但是得出來的解很糟糕。直到20世紀(jì)80年代，使用簡(jiǎn)單的隨機(jī)梯度下降來訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)，這種糟糕的情況才有所改變。只要網(wǎng)絡(luò)的輸入和內(nèi)部權(quán)值之間的函數(shù)相對(duì)平滑，使用梯度下降就湊效，梯度下降方法是在70年代到80年代期間由不同的研究團(tuán)隊(duì)獨(dú)立發(fā)明的。?用來求解目標(biāo)函數(shù)關(guān)于多層神經(jīng)網(wǎng)絡(luò)權(quán)值梯度的反向傳播算法（BP）只是一個(gè)用來求導(dǎo)的鏈?zhǔn)椒▌t的具體應(yīng)用而已。

反向傳播算法的核心思想是：目標(biāo)函數(shù)對(duì)于某層輸入的導(dǎo)數(shù)（或者梯度）可以通過向后傳播對(duì)該層輸出（或者下一層輸入）的導(dǎo)數(shù)求得（如圖1）。

反向傳播算法可以被重復(fù)的用于傳播梯度通過多層神經(jīng)網(wǎng)絡(luò)的每一層：從該多層神經(jīng)網(wǎng)絡(luò)的最頂層的輸出（也就是改網(wǎng)絡(luò)產(chǎn)生預(yù)測(cè)的那一層）一直到該多層神經(jīng)網(wǎng)絡(luò)的最底層（也就是被接受外部輸入的那一層），一旦這些關(guān)于（目標(biāo)函數(shù)對(duì)）每層輸入的導(dǎo)數(shù)求解完，我們就可以求解每一層上面的（目標(biāo)函數(shù)對(duì)）權(quán)值的梯度了。

很多深度學(xué)習(xí)的應(yīng)用都是使用前饋式神經(jīng)網(wǎng)絡(luò)（如圖1），該神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)一個(gè)從固定大小輸入（比如輸入是一張圖）到固定大小輸出（例如，到不同類別的概率）的映射。從第一層到下一層，計(jì)算前一層神經(jīng)元輸入數(shù)據(jù)的權(quán)值的和，然后把這個(gè)和傳給一個(gè)非線性激活函數(shù)。當(dāng)前最流行的非線性激活函數(shù)是rectified linear unit(ReLU)，函數(shù)形式：f(z)=max(z,0)。過去的幾十年中，神經(jīng)網(wǎng)絡(luò)使用一些更加平滑的非線性函數(shù)，比如tanh(z)和1/(1+exp(-z))，但是ReLU通常會(huì)讓一個(gè)多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的更快，也可以讓一個(gè)深度網(wǎng)絡(luò)直接有監(jiān)督的訓(xùn)練（不需要無監(jiān)督的pre-train）。

達(dá)到之前那種有pre-train的效果。通常情況下，輸入層和輸出層以外的神經(jīng)單元被稱為隱藏單元。隱藏層的作用可以看成是使用一個(gè)非線性的方式打亂輸入數(shù)據(jù)，來讓輸入數(shù)據(jù)對(duì)應(yīng)的類別在最后一層變得線性可分。

在20世紀(jì)90年代晚期，神經(jīng)網(wǎng)絡(luò)和反向傳播算法被大多數(shù)機(jī)器學(xué)習(xí)團(tuán)隊(duì)拋棄，同時(shí)也不受計(jì)算機(jī)視覺和語音識(shí)別團(tuán)隊(duì)的重視。

人們普遍認(rèn)為，學(xué)習(xí)有用的、多級(jí)層次結(jié)構(gòu)的、使用較少先驗(yàn)知識(shí)進(jìn)行特征提取的這些方法都不靠譜。確切的說是因?yàn)楹?jiǎn)單的梯度下降會(huì)讓整個(gè)優(yōu)化陷入到不好的局部最小解。

實(shí)踐中，如果在大的網(wǎng)絡(luò)中，不管使用什么樣的初始化條件，局部最小解并不算什么大問題，系統(tǒng)總是得到效果差不多的解。最近的理論和實(shí)驗(yàn)表明，局部最小解還真不是啥大問題。相反，解空間中充滿了大量的鞍點(diǎn)（梯度為0的點(diǎn)），同時(shí)鞍點(diǎn)周圍大部分曲面都是往上的。所以這些算法就算是陷入了這些局部最小值，關(guān)系也不太大。

2006年前后，CIFAR（加拿大高級(jí)研究院）把一些研究者聚集在一起，人們對(duì)深度前饋式神經(jīng)網(wǎng)絡(luò)重新燃起了興趣。研究者們提出了一種非監(jiān)督的學(xué)習(xí)方法，這種方法可以創(chuàng)建一些網(wǎng)絡(luò)層來檢測(cè)特征而不使用帶標(biāo)簽的數(shù)據(jù)，這些網(wǎng)絡(luò)層可以用來重構(gòu)或者對(duì)特征檢測(cè)器的活動(dòng)進(jìn)行建模。通過預(yù)訓(xùn)練過程，深度網(wǎng)絡(luò)的權(quán)值可以被初始化為有意思的值。然后一個(gè)輸出層被添加到該網(wǎng)絡(luò)的頂部，并且使用標(biāo)準(zhǔn)的反向傳播算法進(jìn)行微調(diào)。這個(gè)工作對(duì)手寫體數(shù)字的識(shí)別以及行人預(yù)測(cè)任務(wù)產(chǎn)生了顯著的效果，尤其是帶標(biāo)簽的數(shù)據(jù)非常少的時(shí)候。

使用這種與訓(xùn)練方法做出來的第一個(gè)比較大的應(yīng)用是關(guān)于語音識(shí)別的，并且是在GPU上做的，這樣做是因?yàn)閷懘a很方便，并且在訓(xùn)練的時(shí)候可以得到10倍或者20倍的加速。2009年，這種方法被用來映射短時(shí)間的系數(shù)窗口，該系統(tǒng)窗口是提取自聲波并被轉(zhuǎn)換成一組概率數(shù)字。它在一組使用很少詞匯的標(biāo)準(zhǔn)的語音識(shí)別基準(zhǔn)測(cè)試程序上達(dá)到了驚人的效果，然后又迅速被發(fā)展到另外一個(gè)更大的數(shù)據(jù)集上，同時(shí)也取得驚人的效果。

從2009年到到2012年底，較大的語音團(tuán)隊(duì)開發(fā)了這種深度網(wǎng)絡(luò)的多個(gè)版本并且已經(jīng)被用到了安卓手機(jī)上。對(duì)于小的數(shù)據(jù)集來說，無監(jiān)督的預(yù)訓(xùn)練可以防止過擬合，同時(shí)可以帶來更好的泛化性能當(dāng)有標(biāo)簽的樣本很小的時(shí)候。一旦深度學(xué)習(xí)技術(shù)重新恢復(fù)，這種預(yù)訓(xùn)練只有在數(shù)據(jù)集合較少的時(shí)候才需要。

然后，還有一種深度前饋式神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)更易于訓(xùn)練并且比那種全連接的神經(jīng)網(wǎng)絡(luò)的泛化性能更好。這就是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。當(dāng)人們對(duì)神經(jīng)網(wǎng)絡(luò)不感興趣的時(shí)候，卷積神經(jīng)網(wǎng)絡(luò)在實(shí)踐中卻取得了很多成功，如今它被計(jì)算機(jī)視覺團(tuán)隊(duì)廣泛使用。

該綜述文章中文譯文的下半部分，詳細(xì)介紹了CNN、分布式特征表示、RNN及其不同的應(yīng)用，并對(duì)深度學(xué)習(xí)技術(shù)的未來發(fā)展進(jìn)行展望

▌卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)用來處理到多維數(shù)組數(shù)據(jù)的，比如一個(gè)有3個(gè)包含了像素值2-D圖像組合成的一個(gè)具有3個(gè)顏色通道的彩色圖像。很多數(shù)據(jù)形態(tài)都是這種多維數(shù)組的：1D用來表示信號(hào)和序列包括語言，2D用來表示圖像或者聲音，3D用來表示視頻或者有聲音的圖像。卷積神經(jīng)網(wǎng)絡(luò)使用4個(gè)關(guān)鍵的想法來利用自然信號(hào)的屬性：局部連接、權(quán)值共享、池化以及多網(wǎng)絡(luò)層的使用。

圖2 卷積神經(jīng)網(wǎng)絡(luò)內(nèi)部

一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（如圖2）是由一系列的過程組成的。最初的幾個(gè)階段是由卷積層和池化層組成，卷積層的單元被組織在特征圖中，在特征圖中，每一個(gè)單元通過一組叫做濾波器的權(quán)值被連接到上一層的特征圖的一個(gè)局部塊，然后這個(gè)局部加權(quán)和被傳給一個(gè)非線性函數(shù)，比如ReLU。在一個(gè)特征圖中的全部單元享用相同的過濾器，不同層的特征圖使用不同的過濾器。使用這種結(jié)構(gòu)處于兩方面的原因。

首先，在數(shù)組數(shù)據(jù)中，比如圖像數(shù)據(jù)，一個(gè)值的附近的值經(jīng)常是高度相關(guān)的，可以形成比較容易被探測(cè)到的有區(qū)分性的局部特征。

其次，不同位置局部統(tǒng)計(jì)特征不太相關(guān)的，也就是說，在一個(gè)地方出現(xiàn)的某個(gè)特征，也可能出現(xiàn)在別的地方，所以不同位置的單元可以共享權(quán)值以及可以探測(cè)相同的樣本。在數(shù)學(xué)上，這種由一個(gè)特征圖執(zhí)行的過濾操作是一個(gè)離線的卷積，卷積神經(jīng)網(wǎng)絡(luò)也是這么得名來的。

卷積層的作用是探測(cè)上一層特征的局部連接，然而池化層的作用是在語義上把相似的特征合并起來，這是因?yàn)樾纬梢粋€(gè)主題的特征的相對(duì)位置不太一樣。一般地，池化單元計(jì)算特征圖中的一個(gè)局部塊的最大值，相鄰的池化單元通過移動(dòng)一行或者一列來從小塊上讀取數(shù)據(jù)，因?yàn)檫@樣做就減少的表達(dá)的維度以及對(duì)數(shù)據(jù)的平移不變性。兩三個(gè)這種的卷積、非線性變換以及池化被串起來，后面再加上一個(gè)更多卷積和全連接層。在卷積神經(jīng)網(wǎng)絡(luò)上進(jìn)行反向傳播算法和在一般的深度網(wǎng)絡(luò)上是一樣的，可以讓所有的在過濾器中的權(quán)值得到訓(xùn)練。

深度神經(jīng)網(wǎng)絡(luò)利用的很多自然信號(hào)是層級(jí)組成的屬性，在這種屬性中高級(jí)的特征是通過對(duì)低級(jí)特征的組合來實(shí)現(xiàn)的。在圖像中，局部邊緣的組合形成基本圖案，這些圖案形成物體的局部，然后再形成物體。這種層級(jí)結(jié)構(gòu)也存在于語音數(shù)據(jù)以及文本數(shù)據(jù)中，如電話中的聲音，因素，音節(jié)，文檔中的單詞和句子。當(dāng)輸入數(shù)據(jù)在前一層中的位置有變化的時(shí)候，池化操作讓這些特征表示對(duì)這些變化具有魯棒性。

卷積神經(jīng)網(wǎng)絡(luò)中的卷積和池化層靈感直接來源于視覺神經(jīng)科學(xué)中的簡(jiǎn)單細(xì)胞和復(fù)雜細(xì)胞。這種細(xì)胞的是以LNG-V1-V2-V4-IT這種層級(jí)結(jié)構(gòu)形成視覺回路的。當(dāng)給一個(gè)卷積神經(jīng)網(wǎng)絡(luò)和猴子一副相同的圖片的時(shí)候，卷積神經(jīng)網(wǎng)絡(luò)展示了猴子下顳葉皮質(zhì)中隨機(jī)160個(gè)神經(jīng)元的變化。卷積神經(jīng)網(wǎng)絡(luò)有神經(jīng)認(rèn)知的根源，他們的架構(gòu)有點(diǎn)相似，但是在神經(jīng)認(rèn)知中是沒有類似反向傳播算法這種端到端的監(jiān)督學(xué)習(xí)算法的。一個(gè)比較原始的1D卷積神經(jīng)網(wǎng)絡(luò)被稱為時(shí)延神經(jīng)網(wǎng)絡(luò)，可以被用來識(shí)別語音以及簡(jiǎn)單的單詞。

20世紀(jì)90年代以來，基于卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)了大量的應(yīng)用。最開始是用時(shí)延神經(jīng)網(wǎng)絡(luò)來做語音識(shí)別以及文檔閱讀。這個(gè)文檔閱讀系統(tǒng)使用一個(gè)被訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)和一個(gè)概率模型，這個(gè)概率模型實(shí)現(xiàn)了語言方面的一些約束。20世紀(jì)90年代末，這個(gè)系統(tǒng)被用來美國(guó)超過10%的支票閱讀上。后來，微軟開發(fā)了基于卷積神經(jīng)網(wǎng)絡(luò)的字符識(shí)別系統(tǒng)以及手寫體識(shí)別系統(tǒng)。20世紀(jì)90年代早期，卷積神經(jīng)網(wǎng)絡(luò)也被用來自然圖形中的物體識(shí)別，比如臉、手以及人臉識(shí)別（facerecognition ）。

▌使用深度卷積網(wǎng)絡(luò)進(jìn)行圖像理解

21世紀(jì)開始，卷積神經(jīng)網(wǎng)絡(luò)就被成功的大量用于檢測(cè)、分割、物體識(shí)別以及圖像的各個(gè)領(lǐng)域。這些應(yīng)用都是使用了大量的有標(biāo)簽的數(shù)據(jù)，比如交通信號(hào)識(shí)別，生物信息分割，面部探測(cè)，文本、行人以及自然圖形中的人的身體部分的探測(cè)。近年來，卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)重大成功應(yīng)用是人臉識(shí)別。

值得一提的是，圖像可以在像素級(jí)別進(jìn)行打標(biāo)簽，這樣就可以應(yīng)用在比如自動(dòng)電話接聽機(jī)器人、自動(dòng)駕駛汽車等技術(shù)中。像Mobileye以及NVIDIA公司正在把基于卷積神經(jīng)網(wǎng)絡(luò)的方法用于汽車中的視覺系統(tǒng)中。其它的應(yīng)用涉及到自然語言的理解以及語音識(shí)別中。

圖3 從圖像到文字

盡管卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用的很成功，但是它被計(jì)算機(jī)視覺以及機(jī)器學(xué)習(xí)團(tuán)隊(duì)開始重視是在2012年的ImageNet競(jìng)賽。在該競(jìng)賽中，深度卷積神經(jīng)網(wǎng)絡(luò)被用在上百萬張網(wǎng)絡(luò)圖片數(shù)據(jù)集，這個(gè)數(shù)據(jù)集包含了1000個(gè)不同的類。該結(jié)果達(dá)到了前所未有的好，幾乎比當(dāng)時(shí)最好的方法降低了一半的錯(cuò)誤率。這個(gè)成功來自有效地利用了GPU、ReLU、一個(gè)新的被稱為dropout的正則技術(shù)，以及通過分解現(xiàn)有樣本產(chǎn)生更多訓(xùn)練樣本的技術(shù)。這個(gè)成功給計(jì)算機(jī)視覺帶來一個(gè)革命。如今，卷積神經(jīng)網(wǎng)絡(luò)用于幾乎全部的識(shí)別和探測(cè)任務(wù)中。最近一個(gè)更好的成果是，利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合回饋神經(jīng)網(wǎng)絡(luò)用來產(chǎn)生圖像標(biāo)題。

如今的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)有10-20層采用ReLU激活函數(shù)、上百萬個(gè)權(quán)值以及幾十億個(gè)連接。然而訓(xùn)練如此大的網(wǎng)絡(luò)兩年前就只需要幾周了，現(xiàn)在硬件、軟件以及算法并行的進(jìn)步，又把訓(xùn)練時(shí)間壓縮到了幾小時(shí)。

基于卷積神經(jīng)網(wǎng)絡(luò)的視覺系統(tǒng)的性能已經(jīng)引起了大型技術(shù)公司的注意，比如Google、Facebook、Microsoft、IBM，yahoo！、Twitter和Adobe等，一些快速增長(zhǎng)的創(chuàng)業(yè)公司也同樣如是。

卷積神經(jīng)網(wǎng)絡(luò)很容易在芯片或者現(xiàn)場(chǎng)可編程門陣列（FPGA）中高效實(shí)現(xiàn)，許多公司比如NVIDIA、Mobileye、Intel、Qualcomm以及Samsung，正在開發(fā)卷積神經(jīng)網(wǎng)絡(luò)芯片，以使智能機(jī)、相機(jī)、機(jī)器人以及自動(dòng)駕駛汽車中的實(shí)時(shí)視覺系統(tǒng)成為可能。

▌分布式特征表示與語言處理

與不使用分布式特征表示（distributed representations ）的經(jīng)典學(xué)習(xí)算法相比，深度學(xué)習(xí)理論表明深度網(wǎng)絡(luò)具有兩個(gè)不同的巨大的優(yōu)勢(shì)。這些優(yōu)勢(shì)來源于網(wǎng)絡(luò)中各節(jié)點(diǎn)的權(quán)值，并取決于具有合理結(jié)構(gòu)的底層生成數(shù)據(jù)的分布。首先，學(xué)習(xí)分布式特征表示能夠泛化適應(yīng)新學(xué)習(xí)到的特征值的組合（比如，n元特征就有2n種可能的組合）。其次，深度網(wǎng)絡(luò)中組合表示層帶來了另一個(gè)指數(shù)級(jí)的優(yōu)勢(shì)潛能（指數(shù)級(jí)的深度）。

多層神經(jīng)網(wǎng)絡(luò)中的隱層利用網(wǎng)絡(luò)中輸入的數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，使之更加容易預(yù)測(cè)目標(biāo)輸出。下面是一個(gè)很好的示范例子，比如將本地文本的內(nèi)容作為輸入，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)句子中下一個(gè)單詞。內(nèi)容中的每個(gè)單詞表示為網(wǎng)絡(luò)中的N分之一的向量，也就是說，每個(gè)組成部分中有一個(gè)值為1其余的全為0。在第一層中，每個(gè)單詞創(chuàng)建不同的激活狀態(tài)，或單詞向量（如圖4）。

在語言模型中，網(wǎng)絡(luò)中其余層學(xué)習(xí)并轉(zhuǎn)化輸入的單詞向量為輸出單詞向量來預(yù)測(cè)句子中下一個(gè)單詞，可以通過預(yù)測(cè)詞匯表中的單詞作為文本句子中下一個(gè)單詞出現(xiàn)的概率。網(wǎng)絡(luò)學(xué)習(xí)了包含許多激活節(jié)點(diǎn)的、并且可以解釋為詞的獨(dú)立特征的單詞向量，正如第一次示范的文本學(xué)習(xí)分層表征文字符號(hào)的例子。這些語義特征在輸入中并沒有明確的表征。而是在利用“微規(guī)則”（‘micro-rules’,本文中直譯為：微規(guī)則）學(xué)習(xí)過程中被發(fā)掘，并作為一個(gè)分解輸入與輸出符號(hào)之間關(guān)系結(jié)構(gòu)的好的方式。

當(dāng)句子是來自大量的真實(shí)文本并且個(gè)別的微規(guī)則不可靠的情況下，學(xué)習(xí)單詞向量也一樣能表現(xiàn)得很好。利用訓(xùn)練好的模型預(yù)測(cè)新的事例時(shí)，一些概念比較相似的詞容易混淆，比如星期二（Tuesday）和星期三（Wednesday），瑞典（Sweden）和挪威（Norway）。這樣的表示方式被稱為分布式特征表示，因?yàn)樗麄兊脑刂g并不互相排斥，并且他們的構(gòu)造信息對(duì)應(yīng)于觀測(cè)到的數(shù)據(jù)的變化。這些單詞向量是通過學(xué)習(xí)得到的特征構(gòu)造的，這些特征不是由專家決定的，而是由神經(jīng)網(wǎng)絡(luò)自動(dòng)發(fā)掘的。從文本中學(xué)習(xí)得單詞向量表示現(xiàn)在廣泛應(yīng)用于自然語言中。

圖4 詞向量學(xué)習(xí)可視化

特征表示問題爭(zhēng)論的中心介于對(duì)基于邏輯啟發(fā)和基于神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)。在邏輯啟發(fā)的范式中，一個(gè)符號(hào)實(shí)體表示某一事物，因?yàn)槠湮ㄒ坏膶傩耘c其他符號(hào)實(shí)體相同或者不同。該符號(hào)實(shí)例沒有內(nèi)部結(jié)構(gòu)，并且結(jié)構(gòu)與使用是相關(guān)的，至于理解符號(hào)的語義，就必須與變化的推理規(guī)則合理對(duì)應(yīng)。相反地，神經(jīng)網(wǎng)絡(luò)利用了大量活動(dòng)載體、權(quán)值矩陣和標(biāo)量非線性化，來實(shí)現(xiàn)能夠支撐簡(jiǎn)單容易的、具有常識(shí)推理的快速“直覺”功能。

在介紹神經(jīng)語言模型前，簡(jiǎn)述下標(biāo)準(zhǔn)方法，其是基于統(tǒng)計(jì)的語言模型，該模型沒有使用分布式特征表示。而是基于統(tǒng)計(jì)簡(jiǎn)短符號(hào)序列出現(xiàn)的頻率增長(zhǎng)到N（N-grams，N元文法）。可能的N-grams的數(shù)字接近于VN，其中V是詞匯表的大小，考慮到文本內(nèi)容包含成千上萬個(gè)單詞，所以需要一個(gè)非常大的語料庫(kù)。N-grams將每個(gè)單詞看成一個(gè)原子單元，因此不能在語義相關(guān)的單詞序列中一概而論，然而神經(jīng)網(wǎng)絡(luò)語言模型可以，是因?yàn)樗麄冴P(guān)聯(lián)每個(gè)詞與真是特征值的向量，并且在向量空間中語義相關(guān)的詞彼此靠近（圖4）。

▌遞歸神經(jīng)網(wǎng)絡(luò)

首次引入反向傳播算法時(shí)，最令人興奮的便是使用遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural networks，下文簡(jiǎn)稱RNNs）訓(xùn)練。對(duì)于涉及到序列輸入的任務(wù)，比如語音和語言，利用RNNs能獲得更好的效果。RNNs一次處理一個(gè)輸入序列元素，同時(shí)維護(hù)網(wǎng)絡(luò)中隱式單元中隱式的包含過去時(shí)刻序列元素的歷史信息的“狀態(tài)向量”。如果是深度多層網(wǎng)絡(luò)不同神經(jīng)元的輸出，我們就會(huì)考慮這種在不同離散時(shí)間步長(zhǎng)的隱式單元的輸出，這將會(huì)使我們更加清晰怎么利用反向傳播來訓(xùn)練RNNs（如圖5，右）。

圖5 遞歸神經(jīng)網(wǎng)絡(luò)

RNNs是非常強(qiáng)大的動(dòng)態(tài)系統(tǒng)，但是訓(xùn)練它們被證實(shí)存在問題的，因?yàn)榉聪騻鞑サ奶荻仍诿總€(gè)時(shí)間間隔內(nèi)是增長(zhǎng)或下降的，所以經(jīng)過一段時(shí)間后將導(dǎo)致結(jié)果的激增或者降為零。

由于先進(jìn)的架構(gòu)和訓(xùn)練方式，RNNs被發(fā)現(xiàn)可以很好的預(yù)測(cè)文本中下一個(gè)字符或者句子中下一個(gè)單詞，并且可以應(yīng)用于更加復(fù)雜的任務(wù)。例如在某時(shí)刻閱讀英語句子中的單詞后，將會(huì)訓(xùn)練一個(gè)英語的“編碼器”網(wǎng)絡(luò)，使得隱式單元的最終狀態(tài)向量能夠很好地表征句子所要表達(dá)的意思或思想。這種“思想向量”（thought vector）可以作為聯(lián)合訓(xùn)練一個(gè)法語“編碼器”網(wǎng)絡(luò)的初始化隱式狀態(tài)（或者額外的輸入），其輸出為法語翻譯首單詞的概率分布。如果從分布中選擇一個(gè)特殊的首單詞作為編碼網(wǎng)絡(luò)的輸入，將會(huì)輸出翻譯的句子中第二個(gè)單詞的概率分布，并直到停止選擇為止。總體而言，這一過程是根據(jù)英語句子的概率分布而產(chǎn)生的法語詞匯序列。這種簡(jiǎn)單的機(jī)器翻譯方法的表現(xiàn)甚至可以和最先進(jìn)的（state-of-the-art）的方法相媲美，同時(shí)也引起了人們對(duì)于理解句子是否需要像使用推理規(guī)則操作內(nèi)部符號(hào)表示質(zhì)疑。這與日常推理中同時(shí)涉及到根據(jù)合理結(jié)論類推的觀點(diǎn)是匹配的。

類比于將法語句子的意思翻譯成英語句子，同樣可以學(xué)習(xí)將圖片內(nèi)容“翻譯”為英語句子（如圖3）。這種編碼器是可以在最后的隱層將像素轉(zhuǎn)換為活動(dòng)向量的深度卷積網(wǎng)絡(luò)（ConvNet）。解碼器與RNNs用于機(jī)器翻譯和神經(jīng)網(wǎng)絡(luò)語言模型的類似。近來，已經(jīng)掀起了一股深度學(xué)習(xí)的巨大興趣熱潮（參見文獻(xiàn)[86]提到的例子）。

RNNs一旦展開（如圖5），可以將之視為一個(gè)所有層共享同樣權(quán)值的深度前饋神經(jīng)網(wǎng)絡(luò)。雖然它們的目的是學(xué)習(xí)長(zhǎng)期的依賴性，但理論的和經(jīng)驗(yàn)的證據(jù)表明很難學(xué)習(xí)并長(zhǎng)期保存信息。

為了解決這個(gè)問題，一個(gè)增大網(wǎng)絡(luò)存儲(chǔ)的想法隨之產(chǎn)生。采用了特殊隱式單元的LSTM（long short-termmemory networks）被首先提出，其自然行為便是長(zhǎng)期的保存輸入。一種稱作記憶細(xì)胞的特殊單元類似累加器和門控神經(jīng)元：它在下一個(gè)時(shí)間步長(zhǎng)將擁有一個(gè)權(quán)值并聯(lián)接到自身，拷貝自身狀態(tài)的真實(shí)值和累積的外部信號(hào)，但這種自聯(lián)接是由另一個(gè)單元學(xué)習(xí)并決定何時(shí)清除記憶內(nèi)容的乘法門控制的。

LSTM網(wǎng)絡(luò)隨后被證明比傳統(tǒng)的RNNs更加有效，尤其當(dāng)每一個(gè)時(shí)間步長(zhǎng)內(nèi)有若干層時(shí)，整個(gè)語音識(shí)別系統(tǒng)能夠完全一致的將聲學(xué)轉(zhuǎn)錄為字符序列。目前LSTM網(wǎng)絡(luò)或者相關(guān)的門控單元同樣用于編碼和解碼網(wǎng)絡(luò)，并且在機(jī)器翻譯中表現(xiàn)良好。

過去幾年中，幾位學(xué)者提出了不同的提案用于增強(qiáng)RNNs的記憶模塊。提案中包括神經(jīng)圖靈機(jī)，其中通過加入RNNs可讀可寫的“類似磁帶”的存儲(chǔ)來增強(qiáng)網(wǎng)絡(luò)，而記憶網(wǎng)絡(luò)中的常規(guī)網(wǎng)絡(luò)通過聯(lián)想記憶來增強(qiáng)。記憶網(wǎng)絡(luò)在標(biāo)準(zhǔn)的問答基準(zhǔn)測(cè)試中表現(xiàn)良好，記憶是用來記住稍后要求回答問題的事例。

除了簡(jiǎn)單的記憶化，神經(jīng)圖靈機(jī)和記憶網(wǎng)絡(luò)正在被用于那些通常需要推理和符號(hào)操作的任務(wù)，還可以教神經(jīng)圖靈機(jī)“算法”。除此以外，他們可以從未排序的輸入符號(hào)序列（其中每個(gè)符號(hào)都有與其在列表中對(duì)應(yīng)的表明優(yōu)先級(jí)的真實(shí)值）中，學(xué)習(xí)輸出一個(gè)排序的符號(hào)序列。可以訓(xùn)練記憶網(wǎng)絡(luò)用來追蹤一個(gè)設(shè)定與文字冒險(xiǎn)游戲和故事的世界的狀態(tài)，回答一些需要復(fù)雜推理的問題。在一個(gè)測(cè)試?yán)又?#xff0c;網(wǎng)絡(luò)能夠正確回答15句版的《指環(huán)王》中諸如“Frodo現(xiàn)在在哪？”的問題。

▌深度學(xué)習(xí)的未來展望

無監(jiān)督學(xué)習(xí)對(duì)于重新點(diǎn)燃深度學(xué)習(xí)的熱潮起到了促進(jìn)的作用，但是純粹的有監(jiān)督學(xué)習(xí)的成功蓋過了無監(jiān)督學(xué)習(xí)。在本篇綜述中雖然這不是我們的重點(diǎn)，我們還是期望無監(jiān)督學(xué)習(xí)在長(zhǎng)期內(nèi)越來越重要。無監(jiān)督學(xué)習(xí)在人類和動(dòng)物的學(xué)習(xí)中占據(jù)主導(dǎo)地位：我們通過觀察能夠發(fā)現(xiàn)世界的內(nèi)在結(jié)構(gòu)，而不是被告知每一個(gè)客觀事物的名稱。

人類視覺是一個(gè)智能的、基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周圍環(huán)繞區(qū)域?qū)饩€采集成像的活躍的過程。我們期望未來在機(jī)器視覺方面會(huì)有更多的進(jìn)步，這些進(jìn)步來自那些端對(duì)端的訓(xùn)練系統(tǒng)，并結(jié)合ConvNets和RNNs，采用增強(qiáng)學(xué)習(xí)來決定走向。結(jié)合了深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的系統(tǒng)正處在初期，但已經(jīng)在分類任務(wù)中超過了被動(dòng)視頻系統(tǒng)，并在學(xué)習(xí)操作視頻游戲中產(chǎn)生了令人印象深刻的效果。

在未來幾年，自然語言理解將是深度學(xué)習(xí)做出巨大影響的另一個(gè)領(lǐng)域。我們預(yù)測(cè)那些利用了RNNs的系統(tǒng)將會(huì)更好地理解句子或者整個(gè)文檔，當(dāng)它們選擇性地學(xué)習(xí)了某時(shí)刻部分加入的策略。

最終，在人工智能方面取得的重大進(jìn)步將來自那些結(jié)合了復(fù)雜推理表示學(xué)習(xí)（representation learning ）的系統(tǒng)。盡管深度學(xué)習(xí)和簡(jiǎn)單推理已經(jīng)應(yīng)用于語音和手寫字識(shí)別很長(zhǎng)一段時(shí)間了，我們?nèi)孕枰ㄟ^操作大量向量的新范式來代替基于規(guī)則的字符表達(dá)式操作。

?

三、YoshuaBengio：純粹與理想，深度學(xué)習(xí)的30年

蒙特利爾大學(xué)計(jì)算機(jī)科學(xué)系教授 Yoshua Bengio

?

從法國(guó)來到加拿大的時(shí)候，Yoshua Bengio只有12歲。他在加拿大度過了學(xué)生時(shí)代的大部分時(shí)光，在麥吉爾大學(xué)的校園中接受了從本科到博士的完整高等教育，隨后又前往麻省理工學(xué)院和貝爾實(shí)驗(yàn)室做博士后。1993年，他重回蒙特利爾，加入離麥吉爾大學(xué)不遠(yuǎn)的蒙特利爾大學(xué)擔(dān)任計(jì)算機(jī)科學(xué)與運(yùn)籌學(xué)系教授，繼續(xù)潛心進(jìn)行深度學(xué)習(xí)的研究。

?

從80年代到今天，深度學(xué)習(xí)從不被大多數(shù)人看好的“癡心妄想”，到席卷包括自然語言處理、計(jì)算機(jī)視覺、語音識(shí)別在內(nèi)的幾乎所有人工智能領(lǐng)域，其影響力已經(jīng)全面覆蓋了學(xué)術(shù)界、產(chǎn)業(yè)界以及人們的日常生活。Yoshua Bengio幾十年如一日的堅(jiān)守，證明了深度學(xué)習(xí)所蘊(yùn)含的、足以影響我們每個(gè)人生活的巨大價(jià)值。

?

深度學(xué)習(xí)的元老，超過137,000次學(xué)術(shù)引用，“AI圣經(jīng)”《Deep Learning》等一系列教科書級(jí)著作的作者，笑起來極富表現(xiàn)力的眉毛，這些是Yoshua Bengio大神給人們留下的標(biāo)志性印象。

?

深度學(xué)習(xí)的先驅(qū)

上世紀(jì)八九十年代的AI唱衰者們不會(huì)預(yù)料到深度學(xué)習(xí)在二十一世紀(jì)的成功。作為早期開拓者中的一員，Yoshua Bengio也歷經(jīng)了漫長(zhǎng)的“AI寒冬”，在上世紀(jì)末的三十年中，人工智能曾兩度陷入歷史的最低谷。?

?

在Yoshua Bengio上大學(xué)的八十年代，深度學(xué)習(xí)在計(jì)算機(jī)科學(xué)中屬于非常冷門的理論，符號(hào)主義的經(jīng)典學(xué)派占據(jù)著學(xué)界與大學(xué)課堂的主流，但Yoshua Bengio這位獨(dú)樹一幟的學(xué)生卻偏偏對(duì)深度學(xué)習(xí)產(chǎn)生了強(qiáng)烈的興趣。用神經(jīng)網(wǎng)絡(luò)模擬人腦，用機(jī)器學(xué)習(xí)去揭開人類智慧誕生的奧秘，這對(duì)Bengio來說有著巨大的吸引力。就這樣，Bengio找到了他在接下來的30余年中始終鐘情的研究方向。

?

但是在當(dāng)時(shí)，幾乎沒有人看好深度學(xué)習(xí)的工作。因?yàn)閷?duì)同一項(xiàng)任務(wù)來說，既然用傳統(tǒng)方法能更輕松地達(dá)到更好的效果，為什么要費(fèi)勁去訓(xùn)練神經(jīng)網(wǎng)絡(luò)呢？因此，大多數(shù)研究者都不愿意從事這一方向。上世界九十年代人們也曾短暫地看到神經(jīng)網(wǎng)絡(luò)的希望，但由于數(shù)據(jù)量和計(jì)算能力的限制，希望很快破滅了，神經(jīng)網(wǎng)絡(luò)仍然是癡心妄想。但即使人工智能處于低谷，Bengio仍然全身心地投入深度學(xué)習(xí)研究，不斷貢獻(xiàn)了許多新的研究成果。

?

直到2010到2012年，轉(zhuǎn)機(jī)才真正出現(xiàn)。隨著大數(shù)據(jù)的崛起和計(jì)算能力的大幅增長(zhǎng)，突然之間，人們終于看到了深度學(xué)習(xí)所蘊(yùn)藏的真正力量，這使得深度學(xué)習(xí)一下子被推向人們目光的中心。Yoshua Bengio在過去20年中原本問津者寥寥的諸多科研積累，也迅速成為了人工智能界討論的焦點(diǎn)，包括深度學(xué)習(xí)架構(gòu)、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、對(duì)抗算法、表征學(xué)習(xí)等等。這些研究成果影響和啟發(fā)了后來的大量研究者，將深度學(xué)習(xí)應(yīng)用到自然語言處理、計(jì)算機(jī)視覺等人工智能的各個(gè)主要領(lǐng)域，對(duì)近年來深度學(xué)習(xí)的崛起和發(fā)展起到了巨大的推動(dòng)作用。

?

1994年，在Yoshua Bengio與另一位深度學(xué)習(xí)元老級(jí)人物Yann LeCun共同完成的《Gradient-based learning applied to document recognition》論文中，首次提出了用反向傳播算法訓(xùn)練的多層神經(jīng)網(wǎng)絡(luò)LeNet5，它是世界上最早的也是最著名的卷積神經(jīng)網(wǎng)絡(luò)之一。

?

在2003年發(fā)表的《A neural probabilistic language model》中，Yoshua Bengio第一次提出用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來建立自然語言模型，這一思路和方法廣泛地影響了后人用神經(jīng)網(wǎng)絡(luò)做自然語言處理的研究。這一網(wǎng)絡(luò)結(jié)構(gòu)也被迅速引入自然語言處理的應(yīng)用實(shí)踐中并取得了良好的成效，比如最經(jīng)典的用于生成詞向量的word2vec模型，以及近年大熱的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯。Yoshua Bengio的另一篇著作《Learning Deep Architectures for AI》則提綱挈領(lǐng)地總結(jié)了深度學(xué)習(xí)架構(gòu)中學(xué)習(xí)算法的動(dòng)機(jī)和原理，為相關(guān)的研究提供了理論指導(dǎo)。Yoshua Bengio發(fā)表的300多篇學(xué)術(shù)文章累計(jì)的學(xué)術(shù)引用次數(shù)已經(jīng)超過了驚人的137,000次。

?

2016年，Yoshua Bengio與Ian Goodfellow和Aaron Courville共同撰寫了《Deep Learning》，這本因封面被人們親切地稱為“花書”的深度學(xué)習(xí)奠基之作，也成為了人工智能領(lǐng)域不可不讀的“圣經(jīng)”級(jí)教材。

?

包括Yoshua Bengio在內(nèi)的深度學(xué)習(xí)先驅(qū)者們讓我們看到了支持長(zhǎng)期研究的重要性，他們可貴的研究精神也值得人們敬佩。

?

雖然眼下深度學(xué)習(xí)風(fēng)頭正勁，但在幾年后甚至幾十年后，深度學(xué)習(xí)還會(huì)一直存在嗎？在Yoshua Bengio看來，人工智能研究者要不斷地提出和發(fā)展新的想法，這些新想法可能是受到現(xiàn)有技術(shù)和概念的啟發(fā)而誕生的，也將在未來成為新一輪想法的啟蒙。他也坦言，雖然人工智能現(xiàn)在已經(jīng)對(duì)社會(huì)和人類生活產(chǎn)生了巨大的影響，但在大多數(shù)情況下，人工智能表現(xiàn)出的智力還遠(yuǎn)遠(yuǎn)不及哺乳動(dòng)物，人工智能還有太多潛能留待我們?nèi)グl(fā)掘。

?

無論如何，Yoshua Bengio的研究興趣將始終圍繞對(duì)智力生成機(jī)制的探索，并致力于讓人工智能的發(fā)展為所有人的利益服務(wù)。

?

教書育人，孵化技術(shù)

無論產(chǎn)業(yè)界的浪潮多么洶涌，在人工智能的研究大牛紛紛入伙科技公司的時(shí)候，Yoshua Bengio始終沒有離開他位于蒙特利爾大學(xué)校園中的三樓辦公室。

?

在這里，他繼續(xù)潛心科研和教學(xué)工作，為人工智能培養(yǎng)了許多杰出的下一代人才。在剛剛進(jìn)入蒙特利爾大學(xué)任教的時(shí)候，全校只有Yoshua Bengio一位教授從事深度學(xué)習(xí)算法的研究，他欣然接收所有對(duì)深度學(xué)習(xí)感興趣的學(xué)生，漸漸在蒙特利爾大學(xué)組織起研究團(tuán)隊(duì)，與學(xué)術(shù)界建立聯(lián)系并開展合作。他建立了蒙特利爾學(xué)習(xí)算法研究所（Montreal Institute For Learning Algorithms, MILA）并擔(dān)任科學(xué)主任，并作為聯(lián)合主席共同進(jìn)行CIFAR機(jī)器與大腦學(xué)習(xí)項(xiàng)目的研究，也擔(dān)任著數(shù)據(jù)評(píng)估研究所（The institute for data valorization，IVADO）的科學(xué)聯(lián)合主任。

四、美國(guó)人工智能大牛Yann LeCun是如何煉成的

現(xiàn)在，神經(jīng)網(wǎng)絡(luò)已經(jīng)滲入到所有的Facebook產(chǎn)品中，也成為了科技企業(yè)競(jìng)相研究的領(lǐng)域。

在距離Facebook門洛帕克總部約3000英里之外的曼哈頓中心，有一座米黃色的舊辦公樓。在這棟樓里面，一群人正在研究更像是出現(xiàn)在科幻小說中，而不是適用于社交網(wǎng)絡(luò)的項(xiàng)目。

這個(gè)團(tuán)隊(duì)是Facebook人工智能(AI)研究團(tuán)隊(duì)(FacebookArtificial Intelligence Research)。在Facebook內(nèi)部，這個(gè)團(tuán)隊(duì)被稱為FAIR。

FAIR專注于一個(gè)目標(biāo)：創(chuàng)造跟人類具有同等智商的計(jì)算機(jī)。盡管這個(gè)目標(biāo)遠(yuǎn)遠(yuǎn)沒有達(dá)到，但該團(tuán)隊(duì)已經(jīng)取得一些當(dāng)前很少人認(rèn)為有可能發(fā)生的進(jìn)展。

他們的人工智能程序可以畫出跟人類藝術(shù)家的畫作幾乎沒有差別的畫，還能完成一些主題限定于維基百科范圍內(nèi)的小測(cè)試，甚至?xí)妗缎请H爭(zhēng)霸》之類的視頻游戲。

它們正在慢慢地變得越來越聰明。將來有一天，它們會(huì)把Facebook從促進(jìn)朋友間交流的平臺(tái)變成可能成為你的朋友的東西。

FAIR不是你想象中的典型Facebook團(tuán)隊(duì)。該團(tuán)隊(duì)隊(duì)員不直接研究那些非常受歡迎的Facebook產(chǎn)品：Instagram、WhatsApp、Messenger和Facebook本身。

他們的終極目標(biāo)可能需要幾十年的時(shí)間才能實(shí)現(xiàn)，甚至有可能永遠(yuǎn)都無法實(shí)現(xiàn)。該團(tuán)隊(duì)的領(lǐng)頭人也不是你想象中的硅谷成功人士，而是一位曾經(jīng)在人生中經(jīng)歷過真正失敗，然后又奮力東山再起的56歲科研人員。

他的關(guān)于人工智能的理論曾經(jīng)被視如敝履，而現(xiàn)在被認(rèn)為屬于世界級(jí)水平。Facebook頒發(fā)給他的獎(jiǎng)金就是最好的證明。

“您與數(shù)字世界、手機(jī)、計(jì)算機(jī)的互動(dòng)將會(huì)發(fā)生根本性的變化。”LeCun在談到人工智能可能意味著什么的時(shí)候如此說道。

FAIR正在提高計(jì)算機(jī)視、聽和獨(dú)立進(jìn)行溝通的能力。他們的發(fā)現(xiàn)正在滲透到Facebook的各個(gè)產(chǎn)品中。

從NewsFeed排序，到相片濾鏡，到處都有他們的研究結(jié)晶。

Facebook對(duì)人工智能進(jìn)行大規(guī)模投資，不僅僅是因?yàn)槿斯ぶ悄芎苡腥?#xff0c;而是因?yàn)樗豢苫蛉薄Ｔ诋?dāng)今科技界的每一個(gè)角落，企業(yè)們都是在人工智能的基礎(chǔ)上進(jìn)行較量。

Uber的智能自動(dòng)駕駛汽車是其業(yè)務(wù)戰(zhàn)略的核心。

谷歌的基于人工智能的GoogleHome智能音箱可以回答用戶口述的問題——在過去，人們遇到問題只能手動(dòng)輸入搜索，或在更久遠(yuǎn)的過去，只能打開紙質(zhì)百科全書查詢。

亞馬遜正在打造只有人工智能收銀員的便利店，企圖進(jìn)軍市場(chǎng)規(guī)模6740億美元的食品雜貨市場(chǎng)。

而在Facebook，處處都有人工智能的影子。舉個(gè)例子，它的人工智能驅(qū)動(dòng)的照片濾鏡正在幫助它擊退Snapchat的挑戰(zhàn)。Facebook的人工智能能夠識(shí)別照片里的東西，還能決定向你推送哪些內(nèi)容。

在人工智能的幫助下，Facebook提供了有趣的用戶體驗(yàn)，吸引用戶不斷再次回頭。

同樣的技術(shù)還被用于監(jiān)控騷擾、恐怖和色情內(nèi)容。人工智能可以將這些內(nèi)容標(biāo)記下來并清除。

Facebook的應(yīng)用機(jī)器學(xué)習(xí)(AML)團(tuán)隊(duì)負(fù)責(zé)人JoaquinCandela表示：“人們使用Facebook全系列產(chǎn)品的體驗(yàn)主要取決于人工智能技術(shù)。在今天，如果沒有人工智能，Facebook就不可能存在。就這樣。”

隨著該領(lǐng)域不斷發(fā)展，Facebook需要依靠LeCun及其團(tuán)隊(duì)來幫助它走在當(dāng)前的和未來的競(jìng)爭(zhēng)對(duì)手前面，因?yàn)檫@些競(jìng)爭(zhēng)對(duì)手也有可能擁抱人工智能技術(shù)。

在經(jīng)歷多年的批評(píng)和忽視之后，LeCun終于擁有了現(xiàn)在的一切：80名科研人員、Facebook的巨大財(cái)力支持和大眾對(duì)他的研究的信任。他現(xiàn)在要做的就是推出產(chǎn)品。

LeCun在曼哈頓

視覺

LeCun在他年輕的時(shí)候就相信，他可以讓計(jì)算機(jī)擁有視覺。在今天，面部識(shí)別和圖像檢測(cè)已經(jīng)變得十分普遍。但在20世紀(jì)80年代初LeCun在巴黎上大學(xué)的時(shí)候，計(jì)算機(jī)實(shí)際上是瞎子。它們不能識(shí)別照片里的東西，更不知道攝像機(jī)鏡頭里有什么。

在大學(xué)期間，LeCun偶然涉足了一種探索人工智能的途徑，而這種途徑自從60年代以來幾乎沒有人探索過。他認(rèn)為，他的研究可以讓機(jī)器學(xué)會(huì)完成多種任務(wù)，包括感知。

這種途徑就是人工神經(jīng)網(wǎng)絡(luò)。它研究的是，如何讓由小型傳感器互聯(lián)形成的系統(tǒng)把圖像等內(nèi)容分解成非常細(xì)小的部分，然后識(shí)別出其中的模式，最后根據(jù)所有的輸入數(shù)據(jù)確定它們看到了什么。

在閱讀了關(guān)于神經(jīng)網(wǎng)絡(luò)的種種反對(duì)觀點(diǎn)——難以訓(xùn)練，性能不夠強(qiáng)大——之后，LeCun決定推動(dòng)這項(xiàng)研究。盡管遇到了質(zhì)疑，但他還是在攻讀博士學(xué)位期間專注研究人工神經(jīng)網(wǎng)絡(luò)。

在談到這些批評(píng)聲音的時(shí)候，他說：“我只是不相信他們說的。”

人工智能研究經(jīng)常會(huì)遇到困難時(shí)期，而且困難難以解決。這樣的時(shí)期獲得了一個(gè)專屬稱呼：人工智能寒冬。

這些時(shí)期主要出現(xiàn)在研究人員取得的成果無法達(dá)到最初設(shè)想之后。

這讓人覺得該技術(shù)不可行，進(jìn)一步導(dǎo)致人們對(duì)人工智能失去興趣，投資枯竭，技術(shù)進(jìn)步趨于停滯。

LeCun也遇到過這樣的“人工智能寒冬”。在90年代中期加入貝爾實(shí)驗(yàn)室從事人工智能研究之后，AT&T的內(nèi)部矛盾導(dǎo)致了他的團(tuán)隊(duì)分崩離析。

當(dāng)時(shí)，他們正在計(jì)劃推出能讀取支票的自動(dòng)取款機(jī)——今天，這種基于神經(jīng)網(wǎng)絡(luò)的技術(shù)仍在使用中——就在LeCun認(rèn)為這項(xiàng)技術(shù)取得明顯進(jìn)步的時(shí)候，他的項(xiàng)目被取消了。

LeCun說：“就在將要取得真正成功的那一天，整個(gè)項(xiàng)目被解散了。這真的讓人感到非常沮喪。”

與此同時(shí)，其他人工智能技術(shù)獲得了主流研究人員的關(guān)注。盡管這些技術(shù)后來變得無人問津，但其崛起足以導(dǎo)致神經(jīng)網(wǎng)絡(luò)被邊緣化。

在本世紀(jì)00年代初，其他科研人員甚至拒絕讓他在學(xué)術(shù)會(huì)議上介紹他的論文。

神經(jīng)網(wǎng)絡(luò)先驅(qū)、谷歌的工程專家、多倫多大學(xué)教授GeoffHinton表示：“計(jì)算機(jī)視覺圈子把他拒之門外。外界的看法是，他在從事在上世紀(jì)80年代看起來很有前景的研究，但現(xiàn)在他應(yīng)該放棄這方面的研究。”

“現(xiàn)在沒有人這樣看了。”他補(bǔ)充說。

在那個(gè)年代，其他神經(jīng)網(wǎng)絡(luò)研究人員也遇到了類似問題。

蒙特利爾大學(xué)教授、蒙特利爾學(xué)習(xí)算法研究所所長(zhǎng)YoshuaBengio發(fā)現(xiàn)，他很難找到愿意跟自己一起做研究的研究生。“我不得不強(qiáng)迫學(xué)生從事這方面的研究，因?yàn)樗麄兒ε略诓┦慨厴I(yè)后找不到工作。”

2003年，LeCun為自己的重生打下了基礎(chǔ)。那一年，他成為紐約大學(xué)教師，并與Hinton和Bengio結(jié)成非正式的聯(lián)盟，共同重啟對(duì)神經(jīng)網(wǎng)絡(luò)的研究。LeCun面帶微笑地說道：“我們開始了我一直稱之為‘深度學(xué)習(xí)陰謀集團(tuán)’的合作。”

“深度學(xué)習(xí)陰謀集團(tuán)”在神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域扮演了至關(guān)重要的角色。他們堅(jiān)持最初的信念，認(rèn)為不需要為每一類檢測(cè)對(duì)象開發(fā)專門的神經(jīng)網(wǎng)絡(luò)，你只需使用同樣的模板開發(fā)一個(gè)神經(jīng)網(wǎng)絡(luò)，就可以檢測(cè)圖像、視頻和語音。

換而言之，你沒有必要為識(shí)別企鵝和貓分別開發(fā)一個(gè)神經(jīng)網(wǎng)絡(luò)，你可以開發(fā)一個(gè)能夠檢測(cè)兩者并能識(shí)別其差異的神經(jīng)網(wǎng)絡(luò)。這種新的神經(jīng)網(wǎng)絡(luò)也可以經(jīng)過修改勝任其他任務(wù)，例如檢測(cè)聲波，識(shí)別語音中的模式。

“深度學(xué)習(xí)陰謀集團(tuán)”的研究受益于兩個(gè)重要的外界因素。一方面，計(jì)算機(jī)性能大幅度提升，這使得神經(jīng)網(wǎng)絡(luò)的運(yùn)行速度變得足夠快，從而可以應(yīng)用于實(shí)際。

另一方面，由于互聯(lián)網(wǎng)的普及，可獲得的數(shù)據(jù)(包括圖片和文字)獲得了指數(shù)級(jí)的增長(zhǎng)，讓神經(jīng)網(wǎng)絡(luò)得到足夠的訓(xùn)練，變得更加智能。神經(jīng)網(wǎng)絡(luò)因此變得更加靈活、快速、準(zhǔn)確，給人工智能領(lǐng)域帶來了全新的可能性。

得益于LeCun及其合作伙伴打下的基礎(chǔ)，計(jì)算機(jī)視覺在進(jìn)入10年代初期出現(xiàn)了爆炸式增長(zhǎng)。計(jì)算機(jī)開始學(xué)會(huì)識(shí)別圖像中的物體，接著又能識(shí)別視頻中的物體，最后又發(fā)展到能夠識(shí)別攝像頭拍攝的實(shí)時(shí)畫面中的物體。

現(xiàn)在，當(dāng)你把攝像頭指向一個(gè)籃球時(shí)，人工智能可以知道攝像頭前方有什么。LeCun迅速?gòu)娜斯ぶ悄茴I(lǐng)域的邊緣人物變?yōu)樾袠I(yè)領(lǐng)導(dǎo)者。

他表示：“原來沒有什么人從事這方面的研究，但在不到一年的時(shí)間里，所有人都在研究人工智能。這真是瘋了，完全是瘋了。”

2013年12月，LeCun加入Facebook。對(duì)于有意將人工智能研究應(yīng)用于圖像識(shí)別的科研人員來說，Facebook是一個(gè)理想的研究環(huán)境。

Facebook平臺(tái)上有數(shù)十億張圖像，這給LeCun及其團(tuán)隊(duì)提供了用于踐行新想法的豐富資源。FAIR團(tuán)隊(duì)經(jīng)常跟AML團(tuán)隊(duì)合作，在Facebook平臺(tái)上將研究成果付諸實(shí)踐。

這兩個(gè)團(tuán)隊(duì)共同開發(fā)新的系統(tǒng)，讓整個(gè)Facebook公司都能受益于技術(shù)的進(jìn)步。

AML團(tuán)隊(duì)使用FAIR團(tuán)隊(duì)的研究成果來識(shí)別用戶NewsFeed中的內(nèi)容，或?qū)acebook的內(nèi)部?jī)?nèi)容翻譯成其他語言。他們還將這些研究成果應(yīng)用于Facebook相機(jī)，讓相機(jī)根據(jù)用戶動(dòng)作生成各種特效。

FAIR推出的計(jì)算機(jī)視覺工具SharpMark

思維

教會(huì)計(jì)算機(jī)觀察能力是教會(huì)它們理解這個(gè)世界的運(yùn)作方式的第一步。人類知道這個(gè)世界是如何運(yùn)作的，原因是我們反復(fù)觀察了相同的場(chǎng)景，漸漸地知道這些場(chǎng)景將會(huì)如何展開。

舉個(gè)例子，當(dāng)一輛汽車沿著道路高速地向我們站著的地方駛來時(shí)，我們預(yù)測(cè)這輛汽車可能會(huì)撞上我們，于是我們會(huì)讓開。當(dāng)天黑之后，我們知道按一下電燈開關(guān)會(huì)帶來光明，于是我們會(huì)按一下開關(guān)。

FAIR團(tuán)隊(duì)正在嘗試使用類似的方式教會(huì)計(jì)算機(jī)像人類那樣預(yù)測(cè)事情的結(jié)果。LeCun解釋說，這個(gè)團(tuán)隊(duì)正在向人工智能展示許多具有相關(guān)性的視頻，隨后在某個(gè)點(diǎn)暫停視頻，讓機(jī)器預(yù)測(cè)接下來會(huì)發(fā)生什么。

例如，如果你反復(fù)向人工智能系統(tǒng)展示水瓶在人的頭頂上倒過來的視頻，那么它可以預(yù)測(cè)，這樣的動(dòng)作會(huì)導(dǎo)致有人被弄濕身。

“在某種程度上，智能的本質(zhì)就是預(yù)測(cè)。”LeCun解釋說，“如果你可以預(yù)測(cè)你的行為將導(dǎo)致什么結(jié)果，那么你就可以做出計(jì)劃。你可以計(jì)劃一系列行為，從而達(dá)到特定的目標(biāo)。”

目前，教會(huì)人工智能預(yù)測(cè)能力是這一領(lǐng)域所面臨的最棘手的挑戰(zhàn)。其主要原因在于，在許多情況下，多個(gè)預(yù)測(cè)結(jié)果在理論上都是正確的。

LeCun說，想象一下，你在桌子上方垂直地拿著一支筆，然后放手。如果你問計(jì)算機(jī)，一秒鐘之后這支筆將會(huì)位于何處，你不會(huì)得到準(zhǔn)確的回答。

機(jī)器知道這支筆會(huì)掉下來，但它無法準(zhǔn)確預(yù)測(cè)這支筆最終會(huì)落在哪里。因此，你需要告訴系統(tǒng)，這個(gè)問題有多個(gè)正確的答案，事實(shí)上發(fā)生的結(jié)果只是多個(gè)可能性中的一個(gè)。這就是在具有不確定因素的情況下作出預(yù)測(cè)時(shí)存在的問題”。

幫助人工智能理解和接受不確定性是人工智能研究的一個(gè)分支。這個(gè)分支被稱為“無監(jiān)督學(xué)習(xí)”(unsupervisedlearning)，是機(jī)器學(xué)習(xí)的最前沿領(lǐng)域。在人工智能進(jìn)行足夠多的觀察之后，它會(huì)懂得這個(gè)世界是如何運(yùn)作的，并學(xué)會(huì)預(yù)測(cè)。

那時(shí)，它會(huì)開始像人類那樣思考，并獲得健全的判斷力。LeCun認(rèn)為，這是讓機(jī)器變得更智能的關(guān)鍵。

LeCun及其團(tuán)隊(duì)承認(rèn)，人工智能完全掌握這種技能還需要很多年的時(shí)間。不過他們相信，他們終究會(huì)實(shí)現(xiàn)這個(gè)目標(biāo)。

LeCun下屬的研究經(jīng)理Larry Zitnick表示：“這終將發(fā)生，但我會(huì)說，這需要超過10年的時(shí)間。”

語音

去年12月，扎克伯格公布了一段視頻，展示他親自動(dòng)手編程打造的人工智能管家“賈維斯”(Jarvis)。

賈維斯可以給他烤面包，能夠在識(shí)別出扎克伯格父母的臉之后給他們開門。他甚至還會(huì)教他的女兒說漢語。

扎克伯格在使用智能管家賈維斯

這個(gè)智能管家看起來非常酷炫。但在LeCun看來，這沒什么特別的。

“它主要是用腳本寫成的，比較簡(jiǎn)單。而且，從某個(gè)角度看來，它的智能程度很低。”LeCun說道。

LeCun想要開發(fā)能夠真正聽懂你的話語的智能助手。“這是一種能夠跟你進(jìn)行對(duì)話的機(jī)器。”LeCun解釋說，“它們能夠?qū)崿F(xiàn)做好計(jì)劃，它們不會(huì)蠢到讓你生氣。”

打造這樣的機(jī)器沒有藍(lán)圖可依，不過FAIR團(tuán)隊(duì)正在研發(fā)構(gòu)建部件。讓人工智能對(duì)這個(gè)世界有初步的理解，并訓(xùn)練它預(yù)測(cè)這個(gè)世界上可能會(huì)發(fā)生的事情屬于其中的一個(gè)部件。

利用神經(jīng)網(wǎng)絡(luò)教會(huì)它閱讀和寫作是另外一個(gè)部件。對(duì)計(jì)算機(jī)來說，一個(gè)圖像是一串?dāng)?shù)字。一個(gè)口語句子也可以用一串?dāng)?shù)字來代表，文本也一樣。因此，LeCun等人可以使用神經(jīng)網(wǎng)絡(luò)架構(gòu)來識(shí)別圖像中的物體，語音中的單詞，或者文本的主題。

人工智能當(dāng)前仍然無法像理解圖像那樣理解文字，但LeCun已經(jīng)看到未來的賈維斯會(huì)是什么樣子的。他理想中的智能助手將具有基本判斷力，并能跟其他助手溝通。

例如，如果你打算跟朋友一起去聽音樂會(huì)，你讓你的智能助手協(xié)調(diào)一下，它會(huì)根據(jù)你喜歡的音樂類型、你的日程安排和即將上演的音樂會(huì)向你提供切實(shí)可行的建議。

LeCun在形容他面臨的挑戰(zhàn)時(shí)說：“機(jī)器需要考慮現(xiàn)實(shí)世界的情況，一個(gè)人不能同時(shí)出現(xiàn)在兩個(gè)地方，也不能在一定的時(shí)間之內(nèi)從舊金山來到紐約，它還需要考慮出行成本。你需要了解很多事情，才能安排好一個(gè)人的生活。”

Facebook目前正在試驗(yàn)一個(gè)被稱為“M”的簡(jiǎn)單版本數(shù)字助手。這個(gè)基于FAIR團(tuán)隊(duì)研究成果的項(xiàng)目由Messenger團(tuán)隊(duì)運(yùn)作。

Facebook Messenger最近推出了“Msuggestions”(M的建議)，讓M在認(rèn)為自己可以提供幫助的情況下加入用戶的對(duì)話。

比如，當(dāng)有人問“你在哪里？”的時(shí)候，M會(huì)彈出來加入對(duì)話，向你提供一個(gè)一鍵分享位置的按鈕。Facebook未來可能會(huì)將此功能擴(kuò)展到更高級(jí)的用途。

M只是Facebook使用人工智能理解意義的其中一個(gè)例子。這家公司還在考慮把人工智能技術(shù)用于其他用途，甚至可能利用人工智能來打破外界最近指責(zé)它幫忙豎起的壁壘。

2016年的美國(guó)大選讓外界開始關(guān)注Facebook上的兩極分化和假新聞，然而在此之前，LeCun團(tuán)隊(duì)成員Y-LanBoureau就已經(jīng)開始研究如何利用人工智能在Facebook上創(chuàng)建更具建設(shè)性的對(duì)話。

同時(shí)研究神經(jīng)學(xué)和人工智能的Boureau曾花一個(gè)夏天來觀察她的朋友在Facebook上和人互撕，沒有一點(diǎn)興趣聽取反對(duì)意見，于是她決定從事這方面的研究。

她解釋說：“如果我們能夠更多地了解他們這種的心態(tài)背后的驅(qū)動(dòng)力，理解意見如何形成，如何固化成型，了解他們不能彼此溝通的原因，這將是一件大好事。”

Boureau想創(chuàng)造這樣一個(gè)世界：在人們付諸行動(dòng)之前，可以看到盡可能多的不同意見。

人工智能可以幫助我們從文本中找出模式，理解哪些環(huán)節(jié)出了問題，并找出辦法讓偏離軌道的對(duì)話回到正軌。

“如果我們能夠通過數(shù)據(jù)進(jìn)一步了解對(duì)學(xué)習(xí)過程以及人們的信念是如何形成的，那么我們就能夠知道怎樣才能進(jìn)行更多的具有建設(shè)性的對(duì)話。”Boureau說道。

在2016年美國(guó)大選之后，LeCun公開表示，Facebook有技術(shù)能力使用人工智能過濾假新聞。有人覺得這種方式還可以用來解決美國(guó)的兩極分化問題，但LeCun稱這個(gè)任務(wù)最好還是留給第三方解決，而不是交給可能存在偏見的機(jī)器。

現(xiàn)實(shí)

對(duì)人工智能來說，炒作周期可能會(huì)引起危機(jī)。LeCun深知這一點(diǎn)。而現(xiàn)在，我們似乎就處于這樣一個(gè)周期。

在2013年第一季度，只有6家公司在其財(cái)報(bào)電話會(huì)議上提到人工智能。根據(jù)彭博社的數(shù)據(jù)，這個(gè)數(shù)字在2017年第一季度增長(zhǎng)到了244個(gè)。

在談到人工智能的未來時(shí)，LeCun措辭非常謹(jǐn)慎。他說：“人工智能離我們的目標(biāo)還非常遠(yuǎn)，還達(dá)不到我們想要的效果”。事實(shí)上，正如LeCun警告的那樣，人工智能還遠(yuǎn)遠(yuǎn)達(dá)不到人類的智力水平，即所謂的通用人工智能。

然而，有時(shí)候LeCun也無法抑制自己的熱情。讓他感到尤其興奮的是對(duì)抗性訓(xùn)練。這是一種相對(duì)比較新的人工智能研究領(lǐng)域。有助于解決當(dāng)前人工智能領(lǐng)域面臨的預(yù)測(cè)和不確定性挑戰(zhàn)。

對(duì)抗性訓(xùn)練讓兩個(gè)人工智能系統(tǒng)互相對(duì)抗，從而讓它們更了解真實(shí)世界。比如，在FAIR團(tuán)隊(duì)的一個(gè)實(shí)驗(yàn)中，研究人員讓一個(gè)人工智能系統(tǒng)畫畫，并騙過第二個(gè)人工智能系統(tǒng)讓其以為這是人類畫的，第一個(gè)人工智能系統(tǒng)接著利用第二個(gè)人工智能系統(tǒng)的反饋把畫畫得更好。

在今年早些時(shí)候的一個(gè)會(huì)議上，LeCun展示了一些更先進(jìn)的東西：第一個(gè)人工智能試圖讓第二個(gè)人工智能相信，它創(chuàng)造的一段視頻中幾幅畫面屬于后者已經(jīng)看過的一個(gè)視頻中的一部分。LeCun表示，對(duì)抗性訓(xùn)練“是機(jī)器學(xué)習(xí)領(lǐng)域過去10年或者20年來最棒、最酷的想法。”

LeCun會(huì)繼續(xù)研究對(duì)抗性訓(xùn)練，再一次把人工智能研究推向新的極限。他一路走來，從20年前默默無聞的年輕研究員變成現(xiàn)在人人仰慕的大牛。

盡管LeCun會(huì)第一個(gè)告訴你，對(duì)人工智能的研究遠(yuǎn)未結(jié)束，成功不屬于他

?

?

Yoshua Bengio長(zhǎng)達(dá)15年的實(shí)驗(yàn)室組織與管理經(jīng)驗(yàn)也讓他形成了一套自己的方法論，“不要將每個(gè)學(xué)生束縛在他們自己的項(xiàng)目中，而要讓他們靈活合作。學(xué)生們與教授也不是一對(duì)一的關(guān)系，應(yīng)該將整個(gè)實(shí)驗(yàn)室的人組成一個(gè)大的網(wǎng)絡(luò)。”

?

對(duì)高校人才培養(yǎng)的執(zhí)著投入，不代表Yoshua Bengio對(duì)產(chǎn)業(yè)動(dòng)向毫不關(guān)心，Yoshua Bengio希望現(xiàn)有的人工智能技術(shù)能更快地進(jìn)入人們的生活，真正幫助人們?nèi)ネ瓿筛鞣N各樣的任務(wù)。

?

在2016年底，Yoshua Bengio開始為深度學(xué)習(xí)的產(chǎn)業(yè)孵化助力。他作為聯(lián)合創(chuàng)始人創(chuàng)建了人工智能創(chuàng)業(yè)孵化器Element AI，鼓勵(lì)研究員和企業(yè)家們一同創(chuàng)立人工智能公司，將人工智能技術(shù)融入各行各業(yè)，讓人工智能的商業(yè)化前景變?yōu)楝F(xiàn)實(shí)。在成立后的兩年中，Element AI已經(jīng)幫助數(shù)百位來自蒙特利爾大學(xué)和麥吉爾大學(xué)的研究人員完成了從科研技術(shù)到應(yīng)用產(chǎn)品的轉(zhuǎn)化，也幫助初創(chuàng)公司的企業(yè)家在這個(gè)飛速崛起的熱門領(lǐng)域中保持正確的前進(jìn)方向。

?

可以說，Yoshua Bengio不僅在人工智能研究上推動(dòng)蒙特利爾成為了世界深度學(xué)習(xí)的一大重鎮(zhèn)，也為他所期待的人工智能生態(tài)系統(tǒng)添磚加瓦，促成了蒙特利爾如今在人工智能領(lǐng)域的良好學(xué)術(shù)和創(chuàng)業(yè)氛圍。

?

現(xiàn)年54歲的Yoshua Bengio不僅學(xué)術(shù)著作等身，在大多數(shù)學(xué)術(shù)權(quán)威會(huì)議中，你都可以看到這張熟悉的面孔。他不僅是加拿大統(tǒng)計(jì)學(xué)習(xí)算法研究主席，在2009年擔(dān)任了機(jī)器學(xué)習(xí)頂級(jí)會(huì)議NIPS的主席，還在2013年?duì)款^創(chuàng)辦國(guó)際學(xué)習(xí)表征會(huì)議（ICLR），讓ICLR在短短幾年內(nèi)迅速躋身頂會(huì)行列，成為首屈一指的專注深度學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議。

?

Yoshua Bengio也獲得了許多重量級(jí)的名譽(yù)和獎(jiǎng)項(xiàng)，他是加拿大皇家學(xué)院（RSC）及加拿大高等研究院（CIFAR）院士，且在2017年獲得了代表加拿大公民最高榮譽(yù)的“加拿大總督功勛獎(jiǎng)”。盡管如此，Bengio在生活中一直保持著低調(diào)，除了演講之外，很少出現(xiàn)在媒體和大眾的視線中。

?

五、機(jī)器人先生Geoffrey：AI 大牛的成長(zhǎng)之路

30多年來, Geoffrey Hinton一直徘徊在人工智能研究的邊緣, 以一個(gè)局外人的角色堅(jiān)持著一個(gè)簡(jiǎn)單的命題: 計(jì)算機(jī)可以像人類一樣思考, 使用直覺而不是規(guī)則。當(dāng)一個(gè)朋友描述全息圖是如何工作的時(shí)候, 這個(gè)想法在Hinton心里生根發(fā)芽: 數(shù)不清的光束從一個(gè)物體上反射出來,被分散在一個(gè)巨大的數(shù)據(jù)庫(kù)上。Hinton 出身于一個(gè)有點(diǎn)古怪的、一代又一代的科學(xué)家家庭, 他立刻意識(shí)到人類的大腦也是這樣工作的ーー我們大腦中的信息在一個(gè)巨大的細(xì)胞網(wǎng)絡(luò)中傳播開來, 連接著一張無窮無盡的神經(jīng)元地圖, 沿著數(shù)十億的路徑發(fā)射、連接和傳遞。他想知道: 一臺(tái)計(jì)算機(jī)的行為方式是否也是如此？

根據(jù)學(xué)術(shù)界主流的觀點(diǎn), 答案是否定的。他們認(rèn)為，計(jì)算機(jī)在規(guī)則和邏輯上學(xué)得最好。此外, Hinton 的概念——神經(jīng)網(wǎng)絡(luò)——后來成為"深度學(xué)習(xí)"或"機(jī)器學(xué)習(xí)"的基礎(chǔ)ーー已經(jīng)被證明是錯(cuò)誤的。早在50年代后期, 一位名叫Frank Rosenblatt的康奈爾大學(xué)科學(xué)家發(fā)明了世界上第一臺(tái)神經(jīng)網(wǎng)絡(luò)機(jī)器。它被稱為感知器, 有一個(gè)簡(jiǎn)單的目標(biāo)ーー識(shí)別圖像。理論上，當(dāng)向它展示一個(gè)蘋果的圖片,就會(huì)吐出"蘋果" 。感知器運(yùn)行在 IBM 的主機(jī)上, 它很丑陋：一連串交叉的銀線, 看起來像是有人把一個(gè)爐子過濾器的內(nèi)臟粘到了冰箱門上。盡管如此, 這個(gè)設(shè)備還是引發(fā)科幻般的夸張。1958年, 《紐約時(shí)報(bào)》發(fā)表了一項(xiàng)預(yù)測(cè), 預(yù)測(cè)它將成為第一個(gè)像人類大腦一樣思考的設(shè)備。 "(感知器)將能夠行走, 說話, 看見, 寫作, 再現(xiàn)自己, 并意識(shí)到它的存在。"

感知器最終并沒有走路或說話ーー它幾乎不能分辨出左邊和右邊ーー而變成了一個(gè)笑話。在學(xué)術(shù)界, 神經(jīng)網(wǎng)絡(luò)被認(rèn)為是邊緣學(xué)科的追求。盡管如此, Hinton 并沒有被嚇倒。 "大腦必須以某種方式工作, 而且肯定不是某個(gè)人寫程序并把它們固定在那里的,"辛頓說。 "我們沒有被編程，我們有常識(shí)。" 他相信, 神經(jīng)網(wǎng)絡(luò)的想法并沒有錯(cuò), 主要的問題是能量。當(dāng)時(shí)的計(jì)算機(jī)無法通過數(shù)以百萬計(jì)的圖像進(jìn)行連接和尋找意義，樣本的尺寸太小了。

Hinton在1972年獲得博士學(xué)位, 并以神經(jīng)網(wǎng)絡(luò)作為他的研究重點(diǎn)。每周, 他的導(dǎo)師都會(huì)告訴他, 他是在浪費(fèi)時(shí)間。Hinton無論如何都在堅(jiān)持向前推進(jìn)，神經(jīng)網(wǎng)絡(luò)確實(shí)取得了一些小成功ーー后來證明它們?cè)诎l(fā)現(xiàn)信用欺詐方面發(fā)揮了作用。畢業(yè)后, 他在匹茲堡的卡內(nèi)基梅隆大學(xué)找到了一份工作。Hinton是一位驕傲的社會(huì)主義者, 對(duì)里根領(lǐng)導(dǎo)下的美國(guó)外交政策感到不安, 尤其是對(duì)中美洲的干涉。他的妻子是分子生物學(xué)家, 曾是倫敦大學(xué)學(xué)院的教授, 他們計(jì)劃收養(yǎng)一對(duì)來自南美洲的男孩和女孩, 他們不太喜歡在一個(gè)卷入血腥拉丁美洲沖突的國(guó)家撫養(yǎng)他們。另外, 美國(guó)的大多數(shù)人工智能研究都是由國(guó)防部資助的, Hinton 對(duì)此也不滿意, 因此他接受了加拿大高級(jí)研究所（CIFAR）的提議。CIFAR 鼓勵(lì)圍繞某種非正統(tǒng)的科學(xué)思想展開合作, 而這些想法可能在其它地方找不到支持者, 它給Hinton提供了學(xué)術(shù)自由和體面的薪水。1987年, 他和妻子搬到北方,定居下來。Hinton在多倫多大學(xué)計(jì)算機(jī)科學(xué)方面接受了一個(gè)與國(guó)際計(jì)算機(jī)科學(xué)中心相關(guān)的職位ーー盡管他從未上過計(jì)算機(jī)科學(xué)課程ーー并在 CIFAR 開始了機(jī)器與大腦學(xué)習(xí)項(xiàng)目。他在 St. George 校園的史丹佛·佛萊明里設(shè)立了一個(gè)小辦公室, 安靜地開始工作。隨著時(shí)間的推移, 一小撮深度學(xué)習(xí)的信徒被他吸引。伊利亞蘇奇凱弗(Ilya sutskever)現(xiàn)在是 OpenAI 的聯(lián)合創(chuàng)始人兼董事, 埃隆馬斯克(Elon Musk)價(jià)值10億美元的人工智能非營(yíng)利組織成為 Hinton 實(shí)驗(yàn)室的一部分。他描述了大約10名學(xué)生在"AI寒冬"期間進(jìn)行研究, 當(dāng)時(shí)人工智能研究的工作崗位和資金很少, 而且非常稀缺。 "我們是局外人, 但我們有一種罕見的洞察力, 就像我們是特別的一樣,"Sutskever 說。

大約在2009年, 當(dāng)計(jì)算機(jī)終于有能力挖掘大量數(shù)據(jù)的時(shí)候, 超級(jí)神經(jīng)網(wǎng)絡(luò)開始在語音和圖像識(shí)別方面超越了基于邏輯的 AI。業(yè)界注意到, 微軟、 Facebook、谷歌等大型科技公司開始投資。 2012年, 該公司的最高機(jī)密實(shí)驗(yàn)室谷歌 x實(shí)驗(yàn)室宣布, 它已經(jīng)建立了一個(gè)由16000個(gè)計(jì)算機(jī)處理器組成的神經(jīng)網(wǎng)絡(luò), 并把它放到了 YouTube 上。谷歌大腦是公司的深度學(xué)習(xí)人工智能分支, 由該部門的高級(jí)研究員Jeff Dean領(lǐng)導(dǎo), 他們通過新的超級(jí)計(jì)算機(jī)從 YouTube 上隨機(jī)輸入了數(shù)以百萬計(jì)的未貼標(biāo)簽的視頻框架, 并對(duì)其進(jìn)行編程, 以便弄清楚它看到了什么。 Youtube 是貓咪視頻的最重要的儲(chǔ)存庫(kù), 它認(rèn)識(shí)到ーー除其他外ーー貓。這是人工智能的一個(gè)激動(dòng)人心的時(shí)刻。 "我們?cè)谟?xùn)練中從來沒有說過'這是一只貓'," Jeff Dean當(dāng)時(shí)說。 "它基本上發(fā)明了貓的概念。"

這一突破使 Hinton 和他的追隨者成為人工智能運(yùn)動(dòng)的領(lǐng)袖。Jeff Dean在2013年招募Hinton加入谷歌兼職。 "我們顯然是站在外面, 試圖證明傳統(tǒng)的智慧是錯(cuò)誤的。有趣的是，現(xiàn)在我們已經(jīng)成為了一個(gè)機(jī)構(gòu),"Sutskever 說。Hinton, 一個(gè)曾經(jīng)被排斥的人, 突然成了這個(gè)行業(yè)最重要的人物, 從默默無聞變成了明星。那個(gè)瘦長(zhǎng)的,、年老的英國(guó)人先生發(fā)現(xiàn)這一切都枯燥有趣。

"我之所以有這么大的影響力, 是因?yàn)槲沂菢O少數(shù)相信這種方法的人之一, 所有自發(fā)相信這種方法的學(xué)生都來和我一起工作。我不得不從那些最好的人那里挑選出來, 他們都很有判斷力,"他笑著說， "良好的判斷力意味著他們同意我的觀點(diǎn)"。

在他俯瞰市中心校園中央動(dòng)脈的 U of T 辦公室里, Hinton正在走路, 吃著三明治, 在白板上涂鴉, 試圖填補(bǔ)我在神經(jīng)網(wǎng)絡(luò)方面的知識(shí)空白。他停下來畫了一只貓(雪人形狀的小耳朵) , 在我們的文化中, 人們可能會(huì)把狗看成是雄性, 而貓則是雌性。這種描述(以及很多性別歧視)沒有邏輯可言, 但是, Hinton說, 我們通過一千種聯(lián)想和類比來理解, 狗是有攻擊性的, 毛茸茸的, 塊狀的; 貓是狡猾的, 聰明的, 家庭的。前者是男性, 后者是女性。這些都不能用邏輯來證明, 但它存在于我們大腦中隱藏的表象中。機(jī)器可以憑直覺感知這些相同的表現(xiàn): 知識(shí)來自于生活, 充滿了積累的意義和經(jīng)驗(yàn), 存在的神秘實(shí)質(zhì)。這就是神經(jīng)網(wǎng)絡(luò)的美妙之處。 "它更接近弗洛伊德的觀點(diǎn), 即意識(shí)和深思熟慮的推理和所有這些滲透的東西在下面。下面的東西并不是有意識(shí)的深思熟慮的推理, 而是其他的東西——一種類比的東西," Hinton說。

他在與 Justin Trudeau、創(chuàng)新部長(zhǎng) Navdeep Bains 以及谷歌母公司 Alphabet 公司執(zhí)行董事長(zhǎng)Eric Schmidt,在多倫多舉行的 Google Go North tech 會(huì)議上，每個(gè)人都像熱切的學(xué)生一樣坐在一張桌子前, 除了Hinton, 他站在那里, 俯視著他的高層聽眾。他從來沒有坐下來, 因?yàn)樗募棺底甸g盤突出, 在19歲的時(shí)候, 他試圖為母親移動(dòng)一個(gè)重型加熱器, 并且在代謝預(yù)示骨質(zhì)疏松癥的鈣質(zhì)代謝方面存在遺傳缺陷。隨著時(shí)間的推移, 問題變得越來越嚴(yán)重。最終, 坐著變得痛苦。所以, 在2005年,他幾乎完全停止了坐著——另一個(gè)問題解決了。當(dāng)然, 這種解決方案對(duì)任何人來說都不是理想的, 更不用說一個(gè)每年被邀請(qǐng)?jiān)谑澜绺鞯嘏e行的無數(shù)會(huì)議上發(fā)言或出席。Hinton可以告訴你如何從多倫多到赫爾辛基, 而不用坐下。這需要11天的時(shí)間。

"你躺在去布法羅的公共汽車后座上，你可以在水牛城搭乘芝加哥到紐約的臥鋪，你把瑪麗女王送到南安普敦，你站起來反抗倫敦，你得到的歐洲之星到巴黎，你站起來反抗巴黎。然后你就可以睡到柏林, 在那里你可以躺下。你可以乘坐一輛小小的老火車去羅斯托克, 那里是在海邊, 以前是在東德, 你可以看出來。然后你乘渡船去赫爾辛基。" Hinton經(jīng)常用這種方式說話: 把數(shù)據(jù)切成易懂的部分, 眼睛聚焦在距離上, 小嘴唇上露出微笑。

在 Go North 活動(dòng)中, Hinton 對(duì)兩名谷歌工程師取得的突破性進(jìn)展做了一個(gè)簡(jiǎn)潔明了的解釋: 膠囊網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)依賴于大量的數(shù)據(jù)來學(xué)習(xí), 他們需要很長(zhǎng)的時(shí)間來識(shí)別從不同角度看到的物體是同一個(gè)物體。膠囊是一種人工神經(jīng)元, 它可以跟蹤物體不同部位之間的關(guān)系——一個(gè)人的鼻子到嘴巴的小空間就是 Hinton 給出的例子ーー使得識(shí)別更快更準(zhǔn)確。

Capsule網(wǎng)絡(luò)在科技領(lǐng)域受到了極大的歡迎。紐約大學(xué)的一位教授在《連線》雜志上滔滔不絕地說道:"每個(gè)人都在等待, 并且都在尋找Hinton的下一個(gè)偉大飛躍。"

每一家大型科技公司的人工智能專家都在爭(zhēng)先恐后地在深度學(xué)習(xí)中尋找下一個(gè)變革性的發(fā)現(xiàn)。因?yàn)?Hinton 的人工智能思想在很長(zhǎng)一段時(shí)間里都不受歡迎, 但許多專家都是在 Hinton 指導(dǎo)下受訓(xùn)的: 與其說是"學(xué)生變成了老師", 倒不如說是"老師變成了競(jìng)爭(zhēng)對(duì)手" 。許多 Hinton 的前學(xué)生已經(jīng)在 Facebook、Google、Apple 和 Uber 以及學(xué)術(shù)界聲名鵲起。他們記得他是一位受歡迎的教授, 以與學(xué)生一起工作而聞名, 而不是把任務(wù)分配出去, 以及打破深夜研究的“緊張局勢(shì)”, 用自己的嘴雜耍葡萄——向后傾斜, 將其中一個(gè)吹到空中, 然后再用另一種方法抓住第一個(gè), 重復(fù)一遍。過去10年, 多倫多經(jīng)歷了一次人才外流, 據(jù)媒體報(bào)道，當(dāng)?shù)氐某鮿?chuàng)企業(yè)被硅谷吞并，人工智能從業(yè)者, 即使是新手和畢業(yè)生,每年可以獲得從30萬美元到50萬美元不等的薪水，股票期權(quán)可以使這個(gè)數(shù)字超過百萬大關(guān)。多倫多必須弄清楚如何利用Hinton的存在, 引誘這些精英深度學(xué)習(xí)專家留下來, 或者回到他們開始的地方。因此, 價(jià)值數(shù)百萬美元的實(shí)驗(yàn)室Vector 研究所的創(chuàng)立,將把人工智能領(lǐng)域的領(lǐng)軍人物聚集在一起。但加拿大以前已經(jīng)失去了領(lǐng)先優(yōu)勢(shì)。在曾經(jīng)強(qiáng)大的加拿大科技公司諾泰爾(Nortel)和黑莓(BlackBerry)痛苦地解體之后, Vector 提供了贖回的可能性。

Hinton說, 在他成長(zhǎng)過程中, 他的母親給了他兩個(gè)選擇:"要么成為一個(gè)學(xué)者, 要么成為一個(gè)失敗者。" 他的家譜是科學(xué)家們非常重視的一部分。他的曾曾曾祖父是Boolean logic公司的創(chuàng)始人George Boole。George Boole的女婿之一是查理斯·霍華·辛頓, 杰弗里的曾祖父, 一位數(shù)學(xué)家和科幻作家, 創(chuàng)造了"超立方"的概念(我們可以把三維世界看作一個(gè)立方體——所有讀者都熟知這部經(jīng)典兒童小說《時(shí)間的皺紋》(a Wrinkle in Time)的讀者都熟知這個(gè)立體物體, 在維多利亞時(shí)代的英格蘭因重婚而被趕到了美國(guó)。他的兒子, 杰弗里的祖父, 定居在墨西哥,他父親的堂兄就是瓊 · 辛頓, 他是一位核物理學(xué)家, 曾參與曼哈頓計(jì)劃, 并在文化大革命期間居住在中國(guó)。

1947年, 杰夫 · 辛頓出生在溫布爾頓, 霍華德 · 辛頓是一位昆蟲學(xué)家, 同時(shí)也是一位教師母親, 瑪格麗特 · 克拉克。辛頓描述的童年時(shí)代是 Lemony Snicket、哈克貝利·費(fèi)恩歷險(xiǎn)記和天才一族的混合物, 顯微鏡。他和他的三個(gè)兄弟姐妹在布里斯托爾的一所大房子里長(zhǎng)大, 那里充滿了動(dòng)物。有一只貓鼬——"它占據(jù)了很大的空間"ーー車庫(kù)里的蝮蛇戰(zhàn)機(jī)被關(guān)在一個(gè)坑里。年輕的杰夫 · 辛頓曾經(jīng)揮舞著一塊手帕, 讓他們?nèi)ゴ蛩? 但是有一個(gè)人來到他的手邊, 差點(diǎn)把他給殺了。他還照顧了十幾只中國(guó)海龜, 這些海龜是他父親在1961年的中國(guó)巡回演講中獲得的。雖然中國(guó)基本上對(duì)游客關(guān)閉了, 皮埃爾 · 特魯多也參觀了這里, 他和他的高級(jí)同事 Hinton 也共用了一家酒店, 還有一間浴室。根據(jù)家族傳說, Hinton 把海龜放在浴缸里, 至少有一次阻止了 Trudeau 的洗澡計(jì)劃。

8歲的Hinton在布里斯托動(dòng)物園，手里拿著一條蟒蛇。有一段時(shí)間，Hinton一家把毒蛇放在車庫(kù)的一個(gè)坑里。

Hinton也曾回憶起他的好奇心是如何誕生的。他四歲的時(shí)候，和母親在鄉(xiāng)下乘公共汽車旅行。公共汽車上有一個(gè)向后傾斜的座位，朝著車架。Hinton從口袋里掏出一枚硬幣放在座位上，但是它沒有滑向后面，而是滑向前面，看起來向上移動(dòng)，對(duì)抗重力。這個(gè)令人費(fèi)解的現(xiàn)象，激發(fā)了Hinton十多年的想象力。在他十幾歲的時(shí)候，他發(fā)現(xiàn)硬幣的動(dòng)作與天鵝絨座套和巴士的振動(dòng)有關(guān)，這是一個(gè)非常令人滿意的答案。"有些人完全有能力看到他們不理解的東西，并且能夠接受它。我不能接受有什么東西，侵犯了我的世界模型。我真的不能接受那樣的事情。"Hinton說。

Hinton的母親很有愛心，但他的父親卻令人生畏，不管是身體上(他都可以用一只手做俯臥撐，這一壯舉曾讓瘦小的杰弗里震驚)和智力。"他喜歡人們思維清晰，如果你說的東西有點(diǎn)多余，他會(huì)稱之為垃圾。他不是一個(gè)敏感的思想家。他不是虐待狂，但他非常強(qiáng)硬。"

Hinton就讀于一所叫Clifton college的私立學(xué)校——Hinton說“不是最好的學(xué)校"。他和他的朋友 Inman Harvey，后者現(xiàn)在是一名計(jì)算機(jī)科學(xué)家，同時(shí)也是人工智能薩塞克斯大學(xué)的訪問研究員，習(xí)慣于搭便車，偷笑，周圍附近的村莊，如Piddlehinton。Hinton回憶起，在選舉期間，家人在廚房的餐桌旁談?wù)撋鐣?huì)主義，并在選舉期間為工黨寫信。

"Hinton的父親對(duì)我非常好，但他是一個(gè)愛出風(fēng)頭的父親，很喜歡與別人競(jìng)爭(zhēng),"Harvey說。"Hinton繼承了一點(diǎn)競(jìng)爭(zhēng)優(yōu)勢(shì)。他的父親是英國(guó)皇家學(xué)會(huì)的成員，然后杰夫成為了皇家學(xué)會(huì)的成員。他可能覺得有必要滿足父親的期望。"

Hinton的青年時(shí)代與隨心所欲的60年代和70年代發(fā)生了沖突，他走了一條迂回的路線來實(shí)現(xiàn)Hinton家族的與生俱來的權(quán)利。1966年，大學(xué)前的夏天，Hinton和Harvey背包穿越美國(guó)和墨西哥。這些青少年身無分文，他們有時(shí)會(huì)乘夜間公共汽車，以避免支付酒店費(fèi)用。在墨西哥南部的一個(gè)小漁村，他們?cè)诖罄酥杏斡緯r(shí)，在沙灘上留下了一個(gè)行李袋，他們的錢和護(hù)照被偷了。每天下午，這對(duì)夫婦都會(huì)步行7公里到最近的村莊，經(jīng)過警惕的保安，看看他們的替代旅行支票是否已經(jīng)到達(dá)銀行。他們想出了如何靠3美元生存一個(gè)星期，并試圖在高溫下把香蕉皮放在罐子里來制作香蕉汁——這是一個(gè)失敗的實(shí)驗(yàn)。

在70年代，在完成了一個(gè)實(shí)驗(yàn)心理學(xué)學(xué)位之后，Hinton正在做一些奇怪的工作和木工活。1972年，他開始攻讀人工智能博士學(xué)位，但對(duì)自己的研究感到沮喪和矛盾。一個(gè)周末，他參加了一個(gè)研討會(huì)，類似于"EST-y，自我實(shí)現(xiàn)療法"。他討厭這樣。有八個(gè)人，一小時(shí)一小時(shí)地打開心扉，探索他們的需求和需求。在最后一天，每個(gè)參與者必須宣布他們真正想要的生活。人們說他們真的想被愛。"原始和無拘無束的東西,"Hinton回憶道。他凍僵了，不知道該說些什么。當(dāng)他們圍著這個(gè)團(tuán)隊(duì)喊出他們的秘密欲望時(shí)，Hinton驚訝地發(fā)現(xiàn):"我真正想要的是博士學(xué)位!”他大吼大叫。這個(gè)宣言重新點(diǎn)燃了他對(duì)神經(jīng)網(wǎng)絡(luò)研究的熱情。

當(dāng)被問及在這個(gè)非凡的家族歷史的陰影下成長(zhǎng)的感受時(shí)，Hinton 說:"壓力。這種感覺就像是壓力。"他說，他一生都在與抑郁癥作斗爭(zhēng)，工作是他放松閥門的方式。當(dāng)深度學(xué)習(xí)成功時(shí)，抑郁癥略微消失了。"很長(zhǎng)一段時(shí)間,"他說,"我覺得我不是——嗯，我終于做到了，這讓我松了一口氣。"

面對(duì)學(xué)術(shù)上的冷漠，Hinton 在90年代初成為單身父親時(shí)遇到了一個(gè)更嚴(yán)重的私人障礙。在他和他的第一任妻子Ros收養(yǎng)了他們的孩子后不久，Ros死于卵巢癌。Hinton習(xí)慣了在自己的腦子里和實(shí)驗(yàn)室里生活，他被扔進(jìn)了一個(gè)真實(shí)的世界，養(yǎng)育了兩個(gè)小孩。他的兒子患有注意力不集中癥和其他學(xué)習(xí)困難，即使有保姆，Hinton 也不得不在下午6點(diǎn)回家，為他的兒子管理支持，還要趕著去 Gap 買襪子。

“我無法想象一個(gè)有孩子的女人怎么會(huì)有學(xué)術(shù)生涯。我習(xí)慣了把時(shí)間花在思考想法上。教學(xué)是有趣的，但有一點(diǎn)分心，而且我沒有時(shí)間去做這個(gè),"Hinton說。"但是對(duì)于小孩子來說，這種情況并不存在。"Hinton大概是指思考或生活。但不管怎么說，工作的確為想要逃離家庭現(xiàn)實(shí)的Hinton提供了港灣。Hinton說:"有時(shí)候我認(rèn)為我用數(shù)字和數(shù)學(xué)來抵御我情緒化的一面,"Hinton說。養(yǎng)育子女迫使我們做出改變。"以前我去超市的時(shí)候，收銀員不能把兩個(gè)數(shù)字加起來，我會(huì)想:'看在上帝的份上，他們?yōu)槭裁床荒芄鸵粋€(gè)會(huì)算術(shù)的收銀員呢現(xiàn)在我想:'超市雇傭這個(gè)人真是太好了，他補(bǔ)充道:"我不想成為一個(gè)更好的人，它只是發(fā)生了。這不是我的目標(biāo)之一。

1997年，他的第二任妻子Jackie的婚禮上，以及Hinton已經(jīng)擁有的兩個(gè)孩子，8歲托馬斯和6歲的艾瑪。

1997年，他再婚，嫁給了英國(guó)藝術(shù)史學(xué)家Jackie。三年前，她被診斷出患有胰腺癌病，而現(xiàn)在Hinton正處于失去第二任妻子的邊緣。

Hinton一生中花了很多時(shí)間在醫(yī)院里。他向員工提出一些過分問題使后者感到惱火。他也非常清楚病人對(duì)于等待很久才能獲得結(jié)果和結(jié)果模糊不清感到沮喪。但與大多數(shù)人不同的是，他也知道很快就會(huì)出現(xiàn)一種技術(shù)，這種技術(shù)可以讓等待一周才能出的結(jié)果當(dāng)天完成。

對(duì)于一個(gè)克制的英國(guó)人來說，Hinton通常會(huì)把自己的人工智能信仰傳給其他人，最好的例子是他對(duì)于深度學(xué)習(xí)在改革醫(yī)療保健方面的潛力熱情洋溢。"我看到醫(yī)療專業(yè)人員使用數(shù)據(jù)的效率低下。在病人的病史中，有比被利用的更多的信息。我發(fā)現(xiàn)醫(yī)生們真的不能很好地閱讀CT掃描。如果你讓兩個(gè)放射科醫(yī)生讀同樣的掃描，他們會(huì)得到兩個(gè)不同的結(jié)果。"

在三個(gè)不同的場(chǎng)合，醫(yī)務(wù)人員告訴他的妻子，根據(jù)CT掃描讀數(shù)，她患上了繼發(fā)性腫瘤，每次都是錯(cuò)誤的。Hinton認(rèn)為，人工智能最終會(huì)讓放射科醫(yī)生失業(yè)ーー或者至少消除工作中的“看片子”部分。認(rèn)知是人工智能的核心，也是成功診斷和治療的核心。Hinton說:"最終，人工智能的工程師將會(huì)研究如何訓(xùn)練免疫系統(tǒng)攻擊癌細(xì)胞。"Hinton說。

Vector第一批項(xiàng)目中，有一個(gè)由Hinton發(fā)起，希望能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)與多倫多醫(yī)院的大量數(shù)據(jù)聯(lián)系起來。當(dāng)Peter Munk最近向他的同名心臟護(hù)理中心捐贈(zèng)了1億美元時(shí)，醫(yī)院被指定為數(shù)字心血管健康領(lǐng)域的世界領(lǐng)先者，而Vector將得到其中的一部分資金。通過訪問大量的數(shù)據(jù)集本質(zhì)上就是Munk Centre這樣的研究所的病歷檔案，人工智能技術(shù)可以用來實(shí)現(xiàn)大量的突破，包括遠(yuǎn)程監(jiān)控病人的心跳，幫助醫(yī)生確定理想的放電時(shí)機(jī)。Vector的合作伙伴之一——多倫多深層基因組公司(Deep Genomics)正在開發(fā)能夠讀取DNA的人工智能，這將有助于早期發(fā)現(xiàn)疾病并確定最佳治療方案。深基因組學(xué)的創(chuàng)始人，Brendan Frey，另一個(gè)身份是Hinton的學(xué)生。

經(jīng)過幾十年的緩慢步伐，深度學(xué)習(xí)進(jìn)展迅速，Hinton似乎陷入了洛倫佐石油的束縛，迫切地推動(dòng)科學(xué)進(jìn)步，試圖擺脫愛人生命中的時(shí)鐘滴答聲。但是，胰腺癌在早期階段是殘酷而難以診斷的。"恐怕對(duì)她來說可能已經(jīng)太遲了,"Hinton用自己慎重的方式說道。

Yoshua Bengio是蒙特利爾大學(xué)深度學(xué)習(xí)領(lǐng)域的先驅(qū)，他和Hinton和Facebook的Yann LeCun一樣，是科技圈中被標(biāo)記為"加拿大人工智能黑手黨"的成員。幾十年來，當(dāng)本吉奧在多倫多有工作要做時(shí)，他一直呆在Hinton的附屬房子里，和他一起散步(Hinton走遍了每一個(gè)地方，因?yàn)樗谋巢恐挥性谥绷⒌臅r(shí)候才不受傷，如果坐交通工具就必須坐著)。他一直在觀察Hinton成為科技界名人的地位，并對(duì)他的朋友表現(xiàn)出一定程度的警惕。"他不是神。他很容易犯錯(cuò)誤。他只是一個(gè)做人類事情的人,"Bengio說。"有時(shí)候他能用墨鏡看東西。他的個(gè)人生活對(duì)他來說并不容易。他有自己的黑暗時(shí)代。"

九月份，Hinton和他的妻子在Muskoka的小屋里住了幾天。每年的那個(gè)時(shí)候都很美麗。他說:"她非常勇敢，也非常理智，所以她只是認(rèn)為自己有更多的時(shí)間，她決心盡力做到最好,"他說。然后他問我能不能幫他一個(gè)忙。他平靜地說:"我真的希望你能在這個(gè)故事中加入這樣一個(gè)段落，在過去的兩年半里，我能夠繼續(xù)我的工作，因?yàn)槲业钠拮訉?duì)她的癌癥有著積極的態(tài)度。"。"非常感謝。"

Vector Institute是多倫多對(duì)人工智能人才流失問題的答案，它有一種新車的“味道”，這個(gè)名字很適合超級(jí)反派的老巢和第一天的學(xué)校氛圍。加拿大最新的人工智能研究所，位于大學(xué)的七樓，去年秋天正式啟用。它的玻璃墻面臨著女王公園和多倫多大學(xué)羅馬式的建筑，這兩所大學(xué)都是Vector的合作伙伴。Vectore目前目前已經(jīng)獲得了超過1億元的融資和國(guó)家資助，同時(shí)還獲得了30家私企給出的8000萬美元，后者包括加拿大銀行、加拿大航空、Telus、Google。這也讓Vector成為了一家公私兼容、同時(shí)混合了學(xué)術(shù)界、公共機(jī)構(gòu)和行業(yè)的機(jī)構(gòu)。到目前為止，20名科學(xué)家已經(jīng)開始尋找技術(shù)上的答案來解決一些世界上最大的問題:：如何利用人工智能診斷兒童的癌癥，并在言語中發(fā)現(xiàn)癡呆癥？我們?nèi)绾谓ㄔ鞕C(jī)器來幫助人類看到動(dòng)物或者創(chuàng)作美妙的音樂，或者利用量子計(jì)算來加速分析人類每天產(chǎn)生的大量數(shù)據(jù)呢？Vector招聘的關(guān)鍵人物之一拉克爾烏爾塔遜(Raquel Urtasun)將同時(shí)在Vector和Uber工作，她在后者的崗位上開發(fā)自動(dòng)駕駛汽車。

今天圍繞人工智能的狂熱不僅僅是金錢的問題，也是人工智能嘗試融入日常生活的快速步伐。在這種情況下，傳統(tǒng)的翻蓋手機(jī)與帶有人臉識(shí)別功能的iPhone X之間相差的時(shí)間也只有10年。許多杰出的科學(xué)家擔(dān)心這項(xiàng)技術(shù)正在超越我們的管理能力。斯蒂芬·霍金、埃隆·馬斯克和比爾·蓋茨都警告說，不要讓人工智能不受約束。"我擔(dān)心人工智能會(huì)完全取代人類,"霍金最近說。Hinton意識(shí)到其中的道德含義：他向聯(lián)合國(guó)簽署了一份請(qǐng)?jiān)笗?#xff0c;呼吁禁止使用致命的自動(dòng)武器ーー或者稱為殺手機(jī)器人ーー的請(qǐng)?jiān)笗?#xff0c;并拒絕擔(dān)任與通信安全機(jī)構(gòu)有關(guān)的董事會(huì)的職位。他認(rèn)為政府需要介入并制定規(guī)章制度，防止軍方利用他畢生致力于完善的技術(shù)。他表示，具體而言，就是研發(fā)能殺人的機(jī)器人。

不過，在大多數(shù)情況下，Hinton對(duì)人工智能的焦慮感到樂觀。"我認(rèn)為這會(huì)讓生活容易得多。人們談?wù)摰臐撛谟绊懪c技術(shù)本身無關(guān)，而是與社會(huì)的組織方式有關(guān)。作為一個(gè)社會(huì)主義者，我覺得當(dāng)技術(shù)出現(xiàn)提高生產(chǎn)力的時(shí)候，每個(gè)人都應(yīng)該分享這些收益。"

去年夏天，Hinton和我在市中心Google餐廳吃午飯。這個(gè)空間擁有大多數(shù)互聯(lián)網(wǎng)公司的風(fēng)格：明亮的顏色，沙發(fā)和一系列健康的午餐可供很多30歲以下的人們享用。在天井上有一個(gè)迷你推桿和一個(gè)傳粉蜂巢。一臺(tái)濃縮咖啡機(jī)發(fā)出巨大的聲響。很難想象這是機(jī)器入侵的起點(diǎn)，但是。

Hinton說:"電腦接管世界末日的場(chǎng)景不可能在很長(zhǎng)一段時(shí)間內(nèi)發(fā)生,"Hinton說，站在那里吃著他的藜麥和雞肉。"我們離這樣的事情還有很長(zhǎng)很長(zhǎng)的路要走。對(duì)于哲學(xué)家來說，思考是很好的，但是我對(duì)這個(gè)問題并不是特別感興趣，因?yàn)檫@不是我一生中必須面對(duì)的問題。"一直以來，我都不知道他是不是在開玩笑。

但是，這種對(duì)機(jī)器的依賴是如何改變我們的呢？我告訴他，每當(dāng)我的手機(jī)提示我一個(gè)建議的回應(yīng)("聽起來不錯(cuò)!"、"那里見!")我覺得自己好像失去了控制權(quán)。我自己也變得機(jī)械化了。自2001年《太空奧德賽》以來，流行文化就一直將這種精確的理解匯集起來。在娛樂方面，機(jī)器的進(jìn)步被認(rèn)為是個(gè)人的孤獨(dú)，是一種損失。就好像機(jī)器變得越來越人性化，我們變得不那么人性化了。

Hinton 聽了我的話，看我的眼神并不是不友好，而是帶著一絲懷疑。"當(dāng)你使用計(jì)算器的時(shí)候，你會(huì)覺得不那么人性化嗎?"他問道。在他身邊，千禧一代吃著沙拉，喝著咖啡，他們的鑰匙卡在屁股上搖擺。幾乎所有人都在用手機(jī)，或者拿著手機(jī)。"我們是機(jī)器,"Hinton說。"我們只是生物學(xué)上的產(chǎn)物。大多數(shù)做人工智能的人并不懷疑我們是機(jī)器。我們只是極其奇特的機(jī)器。我不應(yīng)該說只是。我們是特別的，奇妙的機(jī)器。"

?

參考資料：摘自很多很多資料。

總結(jié)

以上是生活随笔為你收集整理的三位深度学习之父共获2019年图灵奖，学术人生令人赞叹！！！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。