參考 ? 深度學(xué)習(xí)簡史 - 云+社區(qū) - 騰訊云

目錄

一、概述

二、控制論背景下的ANN

三、連結(jié)主義

四、深度學(xué)習(xí)的復(fù)興

---

一、概述

深度學(xué)習(xí)可以追溯到20世紀(jì)40年代。深度學(xué)習(xí)看似是一個全新的領(lǐng)域，最不過因為在目前流行的前幾年它還是相對冷門的，同時也因為它被賦予了許多不同的名稱(其中大部分已經(jīng)不再使用)，最近才成為眾所周知的“深度學(xué)習(xí)”。這個研究領(lǐng)域已經(jīng)更換了很多名稱，它反映了不同的研究人員和不同觀點的影響。一般認(rèn)為，迄今為止深度學(xué)習(xí)已經(jīng)經(jīng)歷了3次發(fā)展浪潮：20世紀(jì)40年代到60年代，深度學(xué)習(xí)的雛形已經(jīng)出現(xiàn)在控制論(cybeinetics)中；20世紀(jì)80年代到90年代，深度學(xué)習(xí)表現(xiàn)為連接主義(connectionsm)；直到2006年，才真正以深度學(xué)習(xí)之名復(fù)興。

二、控制論背景下的ANN

我們今天直到的一些最早的學(xué)習(xí)算法，旨在模擬生物學(xué)習(xí)的計算模型，即大腦怎樣學(xué)習(xí)或為什么能學(xué)習(xí)的模型。其結(jié)果是深度學(xué)習(xí)以人工神經(jīng)網(wǎng)絡(luò)(arificial neural network, ANN)之名而淡去。彼時，深度學(xué)習(xí)模型被認(rèn)為是受生物大腦(無論人類大腦或其他動物的大腦)所啟發(fā)而設(shè)計出來的系統(tǒng)。盡管有些機器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)有時被用來理解大腦功能，但它們一般都沒有設(shè)計成生物功能的真實模型。深度學(xué)習(xí)的神經(jīng)觀點受兩個主要思想啟發(fā)：一個想法是，大腦作為例子證明智能行為是可能的，因此，概念上，建立智能的直接途徑是逆向大腦背后的計算原理，并復(fù)制其功能；另一種看法是，理解大腦和人類智能背后的原理也非常有趣，因此機器學(xué)習(xí)模型除了解決工程應(yīng)用的能力，如果能讓人類對這些基本的科學(xué)問題有進(jìn)一步的認(rèn)識，也將會很有用。

現(xiàn)代術(shù)語“深度學(xué)習(xí)”超越了目前機器學(xué)習(xí)模型的神經(jīng)科學(xué)觀點。它訴諸于學(xué)習(xí)多層次組合這一更普遍的原理，這一原理也可以應(yīng)用于那些并非受神經(jīng)科學(xué)啟發(fā)的機器學(xué)習(xí)模型。現(xiàn)代深度學(xué)習(xí)最早的前身是從神經(jīng)科學(xué)的角度出發(fā)的簡單線性模型。這些模型設(shè)計為使用一組n個輸入，并將它們與一個輸入y相關(guān)聯(lián)。這些模型希望一組權(quán)重，并計算它們的輸出。第一次神經(jīng)網(wǎng)絡(luò)研究浪潮稱為控制論。

三、連結(jié)主義

MeCulloch-Pitts神經(jīng)元是腦功能的早期模型。該線性模型通過檢驗函數(shù)的正負(fù)來識別兩種不同類型的輸入。顯然，模型的權(quán)重需要正確設(shè)置后才能使模型的輸出對應(yīng)于期望的類別。顯然，模型的權(quán)重需要正確設(shè)置后才能使模型的輸出對應(yīng)于期望的類別。這些權(quán)重可以由操作人員設(shè)定。20世紀(jì)50年代，感知機稱為第一個能根據(jù)每個類別的輸入樣本來學(xué)習(xí)權(quán)重的模型。感知機成為第一個能根據(jù)每個類別的輸入樣本來學(xué)習(xí)權(quán)重的模型。大約在同一時期，自使用線性單元(adaptive linear element，ADALINE)簡單地返回函數(shù)f(x)。本身的值來預(yù)測一個實數(shù)，并且它還可以學(xué)習(xí)從數(shù)據(jù)預(yù)測這些數(shù)。

這些簡單的學(xué)習(xí)算法大大影響了機器學(xué)習(xí)的現(xiàn)代景象。用于調(diào)節(jié)ADALINE權(quán)重的訓(xùn)練算法是被稱為隨機梯度下降(stochastic gradient descent)的一種特例。稍加改進(jìn)后的隨機梯度下降算法仍然是當(dāng)今深度學(xué)習(xí)的主要訓(xùn)練算法。基于感知機和ADALINE中使用的函數(shù)f(x, w)的模型稱為線性模型(linear model)。盡管在許多情況下，這些模型以不同于原始模型的方式進(jìn)行訓(xùn)練，但仍然是目前最廣泛使用的機器學(xué)習(xí)模型。線性模型有很多局限性。最著名的是，它們無法學(xué)習(xí)異或(XOR)函數(shù)，即f([0,1],w)=1和f([1,0],w)=1，但f([1,1],w)=0和f([0,0],w)=0。觀察到線性模型這個缺陷的批評者對受生物學(xué)啟發(fā)的學(xué)習(xí)普遍地產(chǎn)生了抵觸。這導(dǎo)致了神經(jīng)網(wǎng)絡(luò)熱潮的第一次大衰退。

現(xiàn)在，神經(jīng)網(wǎng)絡(luò)科學(xué)被視為深度學(xué)習(xí)研究的一個重要靈感來源，但已不再是該領(lǐng)域的主要指導(dǎo)。如今神經(jīng)科學(xué)在深度學(xué)習(xí)研究中的作用被削弱，主要原因是我們根本沒有足夠關(guān)于大腦的信息來作為指導(dǎo)去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監(jiān)測(至少是)數(shù)千相連神經(jīng)元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠(yuǎn)遠(yuǎn)沒有理解。

神經(jīng)科學(xué)已經(jīng)給我們依靠單一深度學(xué)習(xí)算法理解許多不同任務(wù)的理由。神經(jīng)學(xué)家們發(fā)現(xiàn)，如果將雪貂的大腦重新連接，使視覺信號傳輸?shù)铰犛X區(qū)域，它們可以學(xué)會使用大腦的聽覺處理區(qū)域去看“看”。這暗示著大多數(shù)不如動物的大腦使用單一的算法可以解決的大部分不同任務(wù)。在這個假設(shè)之前，機器學(xué)習(xí)研究是比較分散的，研究人員在不同的社群研究自然語言處理、計算機視覺、運動規(guī)劃和語音識別。如今，這些應(yīng)用社群仍然是獨立的，但是對于深度學(xué)習(xí)研究團(tuán)體來說，同時研究許多甚至所有這些應(yīng)用領(lǐng)域是很常見的。

我們能夠從神經(jīng)科學(xué)得到的一些粗略指南。僅通過計算單元之間的相互作用變得智能的基本思想是受大腦啟發(fā)的。新認(rèn)知機受哺乳動物視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)，引入了一個處理圖片的強大模型架構(gòu)，它后來成為了現(xiàn)代卷積網(wǎng)絡(luò)的基礎(chǔ)。目前大多數(shù)神經(jīng)網(wǎng)絡(luò)時基于一個稱為整流線性單元(rectified linear unit)的神經(jīng)單元模型。原始認(rèn)知機受我們關(guān)于大腦功能知識的啟發(fā)，引入了一個更復(fù)雜的版本。簡化的現(xiàn)代版通過吸收來自不同觀點的思想而形成，Nair、Hinton和Glorot等援引神經(jīng)科學(xué)作為影響，Jarrett援引更多面向工程的影響。雖然神經(jīng)科學(xué)是靈感的重要來源，但它不需要被視為剛性指導(dǎo)。我們知道，真實的神經(jīng)元計算著與現(xiàn)代整流線性單元非常不同的函數(shù)，但更接近真實神經(jīng)網(wǎng)絡(luò)的系統(tǒng)并沒有導(dǎo)致機器學(xué)習(xí)性能的提升。此外，雖然神經(jīng)科學(xué)已經(jīng)成功地啟發(fā)了一些神經(jīng)網(wǎng)絡(luò)架構(gòu)，但我們對用于神經(jīng)科學(xué)的生物學(xué)習(xí)還沒有足夠多的了解，因此也就不能為訓(xùn)練這些架構(gòu)用的學(xué)習(xí)算法提供太多的借鑒。媒體報道經(jīng)常強調(diào)深度學(xué)習(xí)與大腦的相似性。的確，深度學(xué)習(xí)研究者比其他機器學(xué)習(xí)算法領(lǐng)域(如核方法或貝葉斯統(tǒng)計)的研究者更可能地引用大腦作為影響，但是大疆不應(yīng)該認(rèn)為深度學(xué)習(xí)在嘗試模型大腦。現(xiàn)代深度學(xué)習(xí)從許多領(lǐng)域獲取靈感，特別是應(yīng)用數(shù)學(xué)的基本內(nèi)容，如線性代數(shù)、概率論、信息論和數(shù)值優(yōu)化。盡管一些深度學(xué)習(xí)的研究人員引用神經(jīng)科學(xué)作為靈感的重要來源，然而其他學(xué)者完全不關(guān)心神經(jīng)科學(xué)。

值得注意的是，了解大腦是如何在算法層面上工作的嘗試確實存在且發(fā)展良好。這項嘗試主要被稱為“計算神經(jīng)科學(xué)”，并且是獨立于深度學(xué)習(xí)的領(lǐng)域。研究人員在兩個領(lǐng)域之間來回研究是很常見的。深度學(xué)習(xí)領(lǐng)域主要關(guān)注的構(gòu)建計算機系統(tǒng)，從而成功解決需要智能才能解決的任務(wù)，而計算神經(jīng)科學(xué)領(lǐng)域主要關(guān)注如何真實工作的、比較精確的模型。

20世紀(jì)80年代，神經(jīng)科學(xué)領(lǐng)域研究的第二次浪潮在很大程度上是伴隨一個被稱為聯(lián)結(jié)主義(connectionism)或并行分布處理(parallel distributed processing)潮流而出現(xiàn)的。聯(lián)結(jié)主義是在認(rèn)知科學(xué)的背景下出現(xiàn)的。認(rèn)知科學(xué)是理解思維的跨學(xué)科途徑，即它融合多個不同的分析層次。20世紀(jì)80年代初期，大多數(shù)認(rèn)知科學(xué)家研究符號推理模型。盡管這很流行，但符號模型很難解釋大腦如何真正使用神經(jīng)元實現(xiàn)推理功能。聯(lián)結(jié)主義者開始研究真正基于神經(jīng)系統(tǒng)實現(xiàn)的認(rèn)知模型，其中很多復(fù)蘇的想法可以追溯到心理學(xué)家Donald Hebb在20世紀(jì)40年代的工作。在20世紀(jì)80年代的聯(lián)結(jié)主義期間形成的幾個關(guān)鍵概念在今天的深度學(xué)習(xí)中仍然是非常重要的 。

其中一個概念是分布式表示。其思想是：系統(tǒng)的每一個輸入都應(yīng)該由多個特征表示，并且一個特征都應(yīng)該參與到多個可能輸入的表示。例如，假設(shè)我們有一個能夠識別紅色、綠色或藍(lán)色的汽車、卡車和鳥類的視覺系統(tǒng)，表示這些輸入的其中一個方法是將9個可能的組合：紅卡車、紅汽車、紅鳥、綠卡車等使用單獨的神經(jīng)元或隱藏層單元激活。這需要9個不同的神經(jīng)元，并且每個神經(jīng)元必須獨立地學(xué)習(xí)顏色和對象身份的概念。改善這種情況的方法之一是使用分布式表示，即用3個神經(jīng)元描述顏色，3個神經(jīng)元描述對象身份。這僅僅需要6個神經(jīng)元而不是9個，并且描述紅色神經(jīng)元能夠從汽車、卡車和鳥類的圖像中學(xué)習(xí)紅色，而不僅僅是從一個特定類別的圖像中學(xué)習(xí)。分布式表示的概念是本書的核心。

聯(lián)結(jié)主義浪潮的另一個重要成就是反向傳播在訓(xùn)練具有內(nèi)部表示的深度神經(jīng)網(wǎng)絡(luò)中的成功使用以及反向傳播算法的普及。這個算法雖然層黯然失色且不再流行，但是現(xiàn)在仍然是訓(xùn)練深度模型的主導(dǎo)方法。

四、深度學(xué)習(xí)的復(fù)興

20世紀(jì)90年代，研究人員在使用神經(jīng)網(wǎng)絡(luò)進(jìn)行序列建模的方面取得了重要進(jìn)展。Hochreiter和Bengio指出了對長序列進(jìn)行建模的一些根本性數(shù)學(xué)難題。Hochreiter和Schmidhuber引入了長短期記憶(long short term memory, LSTM)網(wǎng)絡(luò)類解決這些難題。如今，LSTM在許多序列建模任務(wù)中廣泛應(yīng)用，包括Google的許多自然語言處理任務(wù)。神經(jīng)網(wǎng)絡(luò)研究的第二次浪潮持續(xù)到20世紀(jì)90年代中期。基于神經(jīng)網(wǎng)絡(luò)和其他AI技術(shù)的創(chuàng)業(yè)公司開始尋求投資，其做法野心勃勃但不切實際。當(dāng)AI研究不能實現(xiàn)這些不合理的期望時，投資者感到失望。同時，機器學(xué)習(xí)的其他領(lǐng)域取得了進(jìn)步。比如，核方法和圖模型都在很多重要任務(wù)上實現(xiàn)了很好的效果。這兩個因素導(dǎo)致了神經(jīng)網(wǎng)絡(luò)熱潮的第二次衰退，并一直持續(xù)到2007年。

在此期間，神經(jīng)網(wǎng)絡(luò)繼續(xù)在某些任務(wù)上獲得令人印象深刻的表現(xiàn)。加拿大高級研究所(CIFAR)通過神經(jīng)計算和自適應(yīng)感知(NCAP)研究計劃幫助維持神經(jīng)網(wǎng)絡(luò)研究。該計劃聯(lián)合了分別由Geoffrey Hinton、Yoshua Bengio和Yann LeCun領(lǐng)導(dǎo)的多倫多大學(xué)、蒙特利爾大學(xué)和紐約大學(xué)的機器學(xué)習(xí)研究小組。這個多學(xué)科的CIFAR NCAP研究計劃還包括了神經(jīng)科學(xué)家、人類和計算機視覺專家。

在那個時候，人們普遍認(rèn)為深度網(wǎng)絡(luò)是難以訓(xùn)練的。現(xiàn)在我們知道。20世紀(jì)80年代就存在的算法能工作得非常好，但是直到2006年的突破。Geoffery Hinton表明“深度信念網(wǎng)絡(luò)”的深度網(wǎng)絡(luò)可以使用一種稱為“貪婪逐層預(yù)訓(xùn)練”的策略來有效地訓(xùn)練。其他CIFAR附屬研究小組很快表明，同樣的策略可以被用來訓(xùn)練許多其他類型的深度網(wǎng)絡(luò)，并能系統(tǒng)地幫助提高在測試樣例上的泛化能力。神經(jīng)網(wǎng)絡(luò)研究的這一次浪潮普及了“深度學(xué)習(xí)”這一術(shù)語，強調(diào)研究者現(xiàn)在有的能力訓(xùn)練以前不可能訓(xùn)練的比較深的神經(jīng)網(wǎng)絡(luò)，并力著于深度的理論的重要性上。此時深度學(xué)習(xí)已經(jīng)優(yōu)于與之 競爭的基于其他機器學(xué)習(xí)技術(shù)以及手工設(shè)計功能的AI系統(tǒng)。

總結(jié)

以上是生活随笔為你收集整理的深度学习简史的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。