【深度學習下一大突破】吳恩達對話 Hinton、Bengio、Goodfellow（視頻）

[日期：2017-08-11]

來源：新智元? 作者：

[字體：大 中 小]

【新智元導讀】吳恩達深度學習系列課程 Deeplearning.ai 上線，專設對話部分，用視頻的形式將他對 7 位深度學習領袖的采訪呈現出來，分別是 Geoffrey Hinton、Yoshua Bengio、Ian Goodfellow、Andrej Karpathy、林元慶、Ruslan Salakhutdinov、Pieter Abbeel。新智元重點整理了深度學習先驅 Hinton、Bengio 和新秀 Goodfellow 的訪談。他們如何進入深度學習領域，如何看深度學習發展？他們曾犯過哪些錯誤，如何做好的深度學習研究。這些高手間的交流將為你帶來深度沖擊。

全部視頻地址：http://v.qq.com/u/videos/#cover_edit/6f6000801v5zdtf

Geoffery Hinton：少看論文，絕對不要停止編程

吳恩達：作為深度學習的前沿研究者，您提出了有關深度學習的許多新觀點，許多人稱您為“深度學習教父”，雖然我剛才跟您聊天的時候才知道是您自己首先自稱“深度學習教父”的。那么我想問一下您的傳奇背后的故事。您是如何開始涉足AI，機器學習，以及神經網絡的呢？

Geoffery Hinton（以下簡稱Hinton）：我讀高中時，遇到一位非常好的班主任。他是一名卓越的數學家，有一天上課時，他問，“你知道大腦全息圖（hologram）嗎？“那大概是在1966年，我當時問，“什么是全息圖？”他解釋說，在全息圖中，你可以切掉一部分，但仍能看到整個畫面，也就是說大腦中的記憶可能是分布在整個腦中。“我猜他讀過 Lashley 的實驗，就是切掉小鼠的部分腦皮層，發現很難找到大腦的哪個區域是存儲特定記憶的地方。這是我第一次對大腦如何存儲記憶感興趣。于是我上大學時，就開始修讀生理學和物理學。后來我放棄這兩個學科，轉修哲學，因為我認為哲學能給我更多對于大腦的理解。但是在我看來，哲學的理解方式也無法讓我滿意。所以我轉向了心理學，心理學領域有非常簡單的理論，在我看來這些理論完全不足以解釋大腦的工作方式。于是我去當了1年的木匠。再后來我去愛丁堡大學研究生院，決定學習AI，師從 Longuet-Higgins。他曾在神經網絡方面做過一些很好的工作，但卻在那時放棄了神經網絡，改為支持傳統的人工智能論點。所以我去愛丁堡時，他認為我做的是過時的東西，叫我應該從符號學的角度去研究。我們有過很多爭吵，但我只是一味堅持我所相信的工作。

我終于獲得了一個AI的PhD，但沒能在英國找到工作。我于是去了加利福尼亞州，那里一切都不一樣。在英國，研究神經網絡被認為是愚蠢的事情，但在加利福尼亞，Don Norman 和 David Rumelhart 等人對神經網絡的觀點非常開放。那是我第一次體會到，思考大腦如何工作，思考大腦的工作方式與心理學的聯系是一件非常積極的事情，這是非常有趣的。特別是與 David Rumelhart 的合作經歷非常好。

吳恩達：那么，您是在UCSD（加州大學圣地亞哥分校）時，與 Rumelhart 合作寫了那篇著名的反向傳播（back-propagating）方面的論文，對嗎？

Hinton：實際上，這件事還要復雜一些。大概是在1982年初，David Rumelhart 和我，還有 Ronald Williams，一起開發了反向傳播算法。這主要是 David Rumelhart 提出的idea。我們后來發現有其他許多人已經提出過這一算法了。David Parker 提出過，可能他是在我們之后提出的，但發表論文是在我們之前。Paul Werbos 也比我們早幾年發表過論文，但沒有得到很多重視。還有其他許多人也提出了類似的算法。

吳恩達：為什么你認為是你們的研究論文讓這個研究圈子接受了反向傳播的算法？給我的感覺是你們的論文起了很大作用。

Hinton：我們在1986年得以在 Nature 期刊上發表了一篇論文。為了讓論文被接收，我做了很多工作。我得知其中一位審稿人可能是 Stuart Sutherland，他是英國的一位著名心理學家。我去和他談了很久，向他解釋反向傳播是什么。這給他留下了非常深刻的印象，我猜這是論文被 Nature 接收的一個原因。

（Hinton接著解釋了一下反向傳播算法）

吳恩達：最近有關GPU、超級計算機，這些超快的計算機如何加速深度學習的談論很多，但在1986年，或者說90年代初，您和Bengio就已經開始做深度學習了。

Hinton：是的，這是一個巨大的進步。在1986年，我使用的計算機運算能力不足1/10 megaflops到大約1993年，達到10 megaflops，也就是說計算力增加了100倍。正是由于計算機變的越來越快，深度學習變得易于使用了。

吳恩達：在過去幾十年里，你發明了神經網絡和深度學習的許多方法，在您發明的所有東西中，哪個是您現在仍然覺得是最令人興奮的？

Hinton：我認為最美的一個是我與Terry Sejnowski一起發明的玻爾茲曼機（Boltzmann machin）。我們發現有一個真正非常簡單的學習算法，可以應用于很大很密集的網絡，你只會看到幾個節點，它會學習隱藏的表示。它真的是一個非常簡單的算法。

（Hinton接著解釋了玻爾茲曼機的機制）

（Hinton接著講了一堆技術干貨，以及他正在做的研究，請看視頻）

吳恩達：您已經在深度學習領域工作了幾十年，我想問，這幾十年間您對AI的理解有什么變化？

Hinton：我的很多研究是圍繞反向傳播的，包括如何使用反向傳播，如何利用它的能力。在20世紀80年代中期，我們在判別學習（Discriminative learning）中使用它，能表現得很好。到90年代初，我開始認為人類學習中的大部分都是無監督學習（unsupervised learning），我開始對無監督學習有了更多興趣，提出了 Wake-Sleep 算法。

吳恩達：您那時的思想也深深地影響了我。

Hinton：是的，我也可能是誤導了你。但長期來看，我認為無監督學習是關鍵的。但你也要面對現實，在過去十多年里，能起效的是監督學習，是區分性訓練（Discriminative training），使用有標簽的數據。但我仍然認為無監督學習將會變成關鍵，將能夠變得比現在好很多，但我們目前仍未能做到。

吳恩達：是的，我想研究深度學習的許多人都這樣相信，包括我也是，都對無監督學習感到興奮，只是現在沒有人知道如何可以做得更好。

（Hinton 接著講了無監督學習中有前途的一些idea）

吳恩達：您對想進入深度學習領域的新人有什么建議？我想您肯定已經一對一地給許多人提過建議，但對于很多人，對于正在觀看這個視頻的一大批人，請您對他們提一些建議。

Hinton：我的建議是，要閱讀文獻，但不要讀太多。這也是我從我的老師那里得到的建議，可能與大部分人認為的不一樣。大部分人認為應該花上好幾年的時間，讀很多很多的文獻，然后再開始做自己的研究。可能對于一部分研究者來說這樣很好，但對于創造性的研究者來說，我認為你應該讀一些文獻，了解其他人走了哪些彎路，就是某些研究給人感覺不對。然后你要找到如何做對的方法。就算有人跟你說那樣做不好，你也要堅持做。關于如何堅持，我有一個好原則，就是不要管你的直覺是好是壞，如果直覺是好的，那你應該繼續，結果會成功；如果你的直覺不對，那也沒關系。你應該相信你的直覺，沒有理由不相信它們。

我的第二個建議是，不要停止編程。因為如果你讓一個學生去做某個項目，如果進行不順，這個學生可能會跑回來說它不work。要推導為什么它不work，需要做一些小決策，他們沒能認識到這是關鍵的。但假如是優秀的學生，比如說你，你會回來說它是work的。

吳恩達：對于想要進入AI，或者深度學習的人，您還有什么建議嗎？

我想關鍵是你要有直覺，然后相信你的直覺。不要擔心其他人說什么，那是無意義的。如果你認為那真的是一個好點子，但其他人說那完全沒意義，那你就知道你真的遇到大事了。一個例子是， Radford 和我提出變分方法（variation method）的時候，我給我的一個學生寫信解釋這個方法，這個學生叫 Peter Brown。他又給他的工作同事解釋，叫Della Pietra 兄弟的，我猜他們是雙胞胎。Brown后來告訴我這兩兄弟說了什么，他們說，這非常愚蠢。所以說，他們真的認為我們提出的新方法毫無意義。所以，當你在做的事情被別人認為是垃圾的時候，就是它真的是一個超級好的idea的跡象。

Yoshua Bengio：無監督學習 × 強化學習將帶來領域革新

Bengio 已經成為深度學習代表人物之一，他是如何進入這個領域的？Bengio 在采訪中表示，他 1985 年讀博的時候讀到神經網絡的論文，了解到人類是如何學習的，這對于當時還在上經典人工智能，也就是專家系統課程的他來說非常激動。他讀了 Hinton 的論文，了解到聯結主義，于是開始研究 RNN、語音識別、圖模型，畢業后進入 AI&T，貝爾實驗室，在 MIT 讀博士后，最后回到蒙特利爾。

見證了深度學習這幾十年的發展歷程，Bengio 談了最開始他們直覺上知道深度學習和神經網絡會更加強大，但是卻無法證明。現在，我們已經明白了為什么 BP 這么好用，深度為什么對網絡重要。Bengio 以前認為，BP 要好好工作必須有平滑的非線性（smooth nonlinearites），他曾經很擔心遇到 Flat parts，導數為 0 會出現失敗。但在 2010 年左右，他發現 ReLu 實際上比 Sigmod 訓練起來更好，這令他十分意外。

這一發現也與生物學有關。實際上，Bengio 最初對神經網絡感到興奮的點，就是信息在人類大腦里是分布式地存在于每個神經元，而不是一開始以為的存在“祖母細胞”，后者代表了符號表征（symbolic representaion）。也是由此，他當年進行了很多相對淺層但分布式的 word embedding 模型。

上世紀 90 年代末，Bengio 和他的弟弟 Samy 一起，試圖用神經網絡解決“維度詛咒”這一在統計學習上的老問題。其中涉及到對隨機變量進行有效分布式表征的工作，于是將其拓展到序列聯合表征上，這就是 word embedding 的由來。

Bengio 和他的團隊提出了很多理論、技術，他最自豪的工作包括長期依賴（long-term dependency，這也是 Bengio 認為人們理解還不夠深的一項工作）。其他令他自豪的還有自編碼器、消失的梯度、piecewise 線性激活函數、神經機器翻譯（NMT）。

其中，神經機器翻譯被用在了包括谷歌翻譯在內的多個產業服務上。這項工作使用了注意力機制，Bengio 表示注意力機制的提出十分重要，以前神經網絡是向量到向量的映射，而注意力機制讓神經網絡可以處理任何類型的數據。

Bengio 最近在做的一項工作是提出類似 BP 的方法，但是讓人類大腦可以理解。他的研究團隊在這方面已經發表了幾篇論文，是神經科學研究人員會感興趣的。

實際上，Bengio 一直以來都對深度學習和大腦的聯系很感興趣，在這方面也思考了很多。他聽 Hinton 第一次關于深度學習的 workshop，Hinton 提到了大腦是如何工作的，如何利用時間信號做 BP，這對他十分有啟發。他認為目前深度學習與大腦就像一個拼圖（puzzle），一方面我們已經有了很多證據（pieces），比如 spike timing-dependent 可塑性，另一方面有很多機器學習的概念，比如使用目標函數對系統進行全局訓練，credit assignment。但是，如何將兩方面聯系起來？Credit assignment 真正意味著什么？

Bengio 認為，BP 后面實際上還有更 general 的概念，這將是 credit assigment 有用的一個原因。這方面也是研究強化學習的人在討論的。

無監督學習也是 Bengio 感興趣的方向，并且多次在演講中提到。Bengio 認為，無監督學習并不僅僅關系著有沒有標簽，而是在更加深層的意義上，如何讓機器能夠通過觀察學習，如何讓機器從人機交互中學習，就像人類學習一樣。

Bengio 認為，無監督學習和強化學習的結合，或許會帶來在底層上更多的共通點，接下來幾年這方面或許會有大突破——那種在領域內掀起革新的突破。因為，目前有很多方法去實現無監督學習，換句話說，關于什么是無監督學習還沒有定論。如何定義一個好的表征，什么是一個好的目標函數，現在都沒有明確的標準。

Bengio 認為，目前的深度學習和所謂智能系統的表現，表明當前我們只做到了非常膚淺的部分，還遠遠沒有觸及智能的本源。我們必須去研究機器如何觀察世界、理解世界，研究高層抽象，進行認知方面的探索。這個世界既包括真實世界，也可以是簡單如視頻游戲的虛擬環境。

同時，這樣做不需要與谷歌、Facebook 或百度這樣的巨頭競爭，世界上任何人都能研究這一點，并且有巨大的潛力和機會改變世界。

深度學習結合強化學習也會帶來應用上的啟發。Bengio 一直以來都在研究 toy problem，以小見大。隨著硬件性能的提高，他可以做很多很多 toy experiments，加快研究周期。

最后，Bengio 談了他關于深度學習作為科學（science）的看法。Bengio 認為深度學習不止是工程，也是科學，因此他一直在研究深度學習本身，理解深度學習原理和現象。當然，不一定要有各種數學證明（有當然更好），但至少要能有理有據，說服對方（比如這里為什么要用深度學習）。因此，研究不是為了刷新基準，超越其他實驗室或公司的人，而是提出有意義的問題，比如與其提出性能更好的算法，還不如設計實驗去理解當前已有的算法。

Ian Goodfellow：瀕死體驗讓他堅定做AI

Ian Goodfellow 作為最近的深度學習紅人（very visible），也接受了吳恩達的采訪。他在訪談中講述了他自己是如何進入深度學習，他提出 GAN 的故事，以及《深度學習》這本書。

實際上，Goodfellow 最開始學的是神經科學，那時候的 AI 都是 game-AI。后來，他的導師讓他去進一步了解，他就上了吳恩達的 AI 入門課程。在吳恩達的課上，Goodfellow 看到了線性回歸、variants decomposition……等等概念，這讓他意識到，深度學習是一門科學（real science），他可以把自己的研究生涯建立在這個基礎上。后來，在朋友的影響下，他讀了 Hinton 關于深度信念網絡的論文，感到非常激動，自己和朋友在斯坦福建造了基于 CUDA 的 GPU 機器。

當時 Goodfellow 就強烈預感，深度學習是未來的大方向（is the way to go in the future）。因為深度學習不像當時的其他方法，比如 SVM（SVM 數據增多訓練就變慢），于是他盡可能地聚焦深度學習。起初是自己出錢在朋友媽媽的家里弄，后來才開始用斯坦福實驗室的資金做一些研究。

GAN 是當前討論最多的深度學習方法之一。Ian Goodfellow 也講了他是如何發明 GAN 的。當時他在研究生成模型，在酒吧里跟朋友討論，說你應該這么做這么做這么做，我打賭一定會有用。但是朋友不信，于是他直接從酒吧回去開始做實驗，一晚上就寫出了 GAN 論文。

Goodfellow 表示他很幸運第一次就 work 了，這樣他不用去調參數。實際上當時他正在寫《深度學習》這本書。現在，《深度學習》中譯本已經出版，回過頭看，Goodfellow 表示，他們在寫作這本書的時候，特意強調了數學，尤其是線性代數和概率論，就像當年吳恩達的 AI 課一樣，他認為你必須具備基礎數學知識才能真正做深度學習。

GAN 屬于生成模型的一種，雖然現在應用很多，但訓練十分不穩定。Goodfellow 認為，實際上 GAN 能做的事情很多其他生成模型也能做，現在 GAN 正處于交叉路口，如果能穩定下來，甚至能像深度學習那么可靠，那么 GAN 就能真正發展起來。如果不能，那么 GAN 將會被其他方法取代，成為發展中的一個過程。現在，他有大約 40% 的時間用在穩定 GAN 上面。

Goodfellow 還提到了一件趣事，他曾經有過一次臨死體驗，正是這一經歷堅定了他從事 AI。當時他頭超級超級痛，可能是大腦出血，在等 MRI 檢查結果的時候，他意識到他最想讓人做的，是研究他論文中提出的東西。雖然現在想來，都是些很稚嫩的概念，但是，他意識到從事 AI 研究是他人生的第一大事。吳恩達聽后表示，這真正體現了決心（commitment）。

總結

以上是生活随笔為你收集整理的【深度学习下一大突破】吴恩达对话 Hinton、Bengio、Goodfellow（视频）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。