轉(zhuǎn)自：https://www.cnblogs.com/libinggen/p/7858737.html

神經(jīng)科學，依靠單一深度學習算法解決不同任務。視覺信號傳送到聽覺區(qū)域，大腦聽學習處理區(qū)域?qū)W會“看”(Von Melchner et al., 2000)。計算單元互相作用變智能。新認知機(Fukushima,1980)，哺乳動物視覺系統(tǒng)結構，處理圖片強大模型架構，現(xiàn)代卷積網(wǎng)絡基礎(LeCun et al., 1998c)。神經(jīng)網(wǎng)絡基于整流線性單元(rectified linear unit)神經(jīng)單元模型。原始認知機(Fukushima,1975)更復雜。簡化現(xiàn)代版，Nair and Hinton(2010b)和Glorot et al.(2011a) 神經(jīng)科學，Jarrett et al.(2009a) 面向工程。真實神經(jīng)元計算與現(xiàn)代整流線性單元不同函數(shù)，沒有提升性能。對神經(jīng)科學生物學習沒有足夠了解，不能為訓練架構學習算法提供借鑒。現(xiàn)代深度學習從應用數(shù)學基本內(nèi)容(線性代數(shù)、概率論、信息論、數(shù)值優(yōu)化)獲取靈感。計算神經(jīng)科學，大腦在算法層面工作，獨立于深度學習。深度學習領域關注構建計算機系統(tǒng)，解決智能解決任務。計算機器神經(jīng)科學關注構建大腦真實工作、精確模型。

20世紀80年代，神經(jīng)網(wǎng)絡第二次浪潮。聯(lián)結主義(connectionism)或并行分布處理(parallel distributed procession)(Rumelhart et al., 1986d;McClelland et al., 1995)。認知科學，理解思維跨學科途徑，融合不多個不同分析層次。符號模型難解釋大腦用神經(jīng)元實現(xiàn)推理功能。基于神經(jīng)系統(tǒng)實現(xiàn)認知模型(Touretzky and Minton, 1985)。心理學家Donald Hebb，20世界40年代工作(Hebb, 1949)。聯(lián)結主義，網(wǎng)絡將大量簡單計算單元連接在一起實現(xiàn)智能行為。同樣適用于生物神經(jīng)系統(tǒng)神經(jīng)元。

分布式表示(distributed representation)(Hinton et al., 1986)。系統(tǒng)每一個輸入由多個特征表示，每一個特征參與到多個輸入表示。反向傳播，訓練具有內(nèi)部表示深度神經(jīng)網(wǎng)絡，反向傳播算法普及(Remelhart et al., 1986c;LeCun,1987)。訓練深度模型主導方法。

20世紀90年代，Hochreiter(1991b)和Bengion et al.(1994b)，長序列建模。Hochreiter和Schmidhuber(1997)引入長短期記憶(logn short term memory, LSTM)網(wǎng)絡。LSTM 序列建模任務廣泛應用，Google 自然語言處理任務。

第二次浪潮持續(xù)到20世紀90年代中期，機器學習其他領域，核方法(Boser et al., 1992; Cortes and Vapnik, 1995; Scholkopf et al., 1999)，圖模型(Jordan, 1998)在重要任務效果很好。神經(jīng)網(wǎng)絡熱潮第二次衰退，一直持續(xù)到2007年。(LeCUN et al., 1998c; Bengio et al., 2001a)。加拿大高級研究所(CIFAR)，神經(jīng)計算和自適應感知(NCAP)研究計劃，聯(lián)合Geoffrey Hinton、Yoshua Bengio、Yann LeCun領導多倫多大學、蒙特利爾大學、紐約大學機器學習研究小組。包括神經(jīng)科學家、人類和計算視覺專家。20世紀80年代處法能工作得非常好，只是計算代價太高，當時可用硬件難進行足夠?qū)嶒灐?/p>

神經(jīng)網(wǎng)絡第三次浪潮，始于2006年突破。Geoffrey Hinton表明，深度信念網(wǎng)絡神經(jīng)網(wǎng)絡，用貪婪逐層訓練策略可有效訓練(Hinton et al., 2006a)。同樣策略可訓練其他類型深度網(wǎng)絡(Bengio and LeCun, 2007a; Ranzato et al., 2007b)，系統(tǒng)提高測試樣例泛化能力。普通深度學習術語。強調(diào)訓練比較深神經(jīng)網(wǎng)絡，深度理論重要性(Bengio and LeCun,2007b; Delalleau and Bengio, 2011; Pascanu et al., 2014a; Montufar et al., 2014)。深度神經(jīng)網(wǎng)絡優(yōu)地其他機器學習技術及手工設計功能AI系統(tǒng)。第三次浪潮現(xiàn)在已開始著眼無監(jiān)督學習技術、深度模型小數(shù)據(jù)集泛化能力。更多興趣點極是監(jiān)督學習算法、深度模型充分利用大型標注數(shù)據(jù)集能力。

與日俱增數(shù)據(jù)量。訓練數(shù)據(jù)增加，所需技巧減少。復雜任務達到人類水平學習算法，與20世紀80年代解決玩具問題(toy problem)一樣。簡化極深架構訓練。成功訓練所需資源。

20世紀初，統(tǒng)計學家用數(shù)百或數(shù)千手動制作度量研究數(shù)據(jù)集(Garson,1900; Gosset,1908; Anderson, 1935; Fisher,1936)。20世紀50年代到80年代，受生物啟發(fā)機器學習開拓者用小合成數(shù)據(jù)集，如低分辨率字母位圖，低計算成本下表明神經(jīng)網(wǎng)絡學習特定功能(Widrow and Hoff,1960; Rumelhart et al., 1986b)。20世紀80年代和90年代，機器學習變得更偏統(tǒng)計，用成千上萬個樣本更大數(shù)據(jù)集，如手寫掃描數(shù)字MNIST數(shù)據(jù)集(LeCun et al., 1998c)。21世紀第一個10年，CIFAR-10數(shù)據(jù)集(Krizhevsky and Hinton,2009)。2011-2015，數(shù)萬到數(shù)千萬樣例數(shù)據(jù)集，完全改變深度學習可能實現(xiàn)。公共Street View House Numbers數(shù)據(jù)集(Netzer et al., 2011)。各種版本ImageNet數(shù)據(jù)集(Deng et al., 2009,2010a; Russakovsky et al., 2014a)。Sprots-1M數(shù)據(jù)集(Karpathy et al., 2014)。翻譯句子數(shù)據(jù)集，Canadian Hansard IBM數(shù)據(jù)集(Brown et al., 1990)。WMT 2014英法數(shù)據(jù)集(Schwentk,2014)。

社會日益數(shù)字化驅(qū)動數(shù)據(jù)集大小增加。活動在計算機，記錄，聯(lián)網(wǎng)，集中管理，整理機器學習數(shù)據(jù)集。監(jiān)督ipwya學習算法，每類5000個標注樣本，可達到接受性能。1000萬個標注樣本數(shù)據(jù)集訓練，達到或超過人類表現(xiàn)。更小數(shù)據(jù)集，無監(jiān)督或半監(jiān)督學習未標注樣本。

MNIST數(shù)據(jù)集。“NIST”，國家標準和技術研究所(National Institute of Standards and Technology)。“M”，修改(Modified)，更容易與機器學習算法一起用，數(shù)據(jù)預處理。MNIST數(shù)據(jù)集，手寫數(shù)字掃描、標簽(每個圖像包含0~9數(shù)字)。深度學習最簡單最廣泛測試。Geoffrey Hinton，機器學習果蠅。在受控實驗室條件研究算法。

與日俱增模型規(guī)模(每個神經(jīng)元連接數(shù))。現(xiàn)在擁有計算資源可運行更大模型。聯(lián)結主義，動物很多神經(jīng)元一起工作變聰明。最初，人工神經(jīng)網(wǎng)絡神經(jīng)元連接數(shù)受限硬件能力，現(xiàn)在主要是出于設計考慮。

神經(jīng)元總數(shù)目，神經(jīng)網(wǎng)絡驚人的小。隱藏單元引入，人工神經(jīng)網(wǎng)絡規(guī)模每2.4年擴大一倍。更大內(nèi)存、更快計算機機、更大可用數(shù)據(jù)集驅(qū)動。更大網(wǎng)絡在更復雜任務實現(xiàn)更高精度。至少21世紀50年代，人工神經(jīng)網(wǎng)絡才具備人腦相同數(shù)量級神經(jīng)元。生物神經(jīng)元表示功能比目前人工神經(jīng)元表示更復雜。

感知機(Rosenblatt,1958,1962)。自適應線性單元(Widrow and Hoff,1960)。神經(jīng)認知機(Fukushima，1980)。早期后向傳播網(wǎng)絡(Rumelhart et al., 1986b)。用于語音識別循環(huán)神經(jīng)網(wǎng)絡(Robinson and Fallside,1991)。用于語音識別多層感知機(Bengio et al., 1991)。均勻場sigmoid信念網(wǎng)絡(Saul et al., 1996)。LeNet5 (LeCun et al., 1998c)。回聲壯態(tài)網(wǎng)絡(Jaeger and Haas,2004)。深度信念網(wǎng)絡(Hinton et al., 2006a)。GPU加速卷積網(wǎng)絡(Chellapilla et al., 2006)。深度玻爾茲曼機(Salakhutdinov and Hinton,2009a)。GPU加速深度信念網(wǎng)絡(Raina et al., 2009a)。無監(jiān)督卷積網(wǎng)絡(Jarrett et al., 2009b)。GPU加速多層感知機(Ciresan et al., 2010)。OMP-1網(wǎng)絡(Coates and Ng,2011)。分布式自編碼器(Le et al., 2012)。Multi-GPU卷積網(wǎng)絡(Krizhevsky et al., 2012a)。COTS HPC 無監(jiān)督卷積網(wǎng)絡(Coates et al., 2013)。GoogleNet(Szegedy et al., 2014a)。

與日俱增精度、復雜度，對現(xiàn)實世界沖擊。最早深度模型，識別裁剪緊湊且非常小圖像單個對象(Rumelhart et al., 1986d)。神經(jīng)網(wǎng)絡處理圖像尺寸逐漸增加。現(xiàn)代對象識別網(wǎng)絡處理豐富高分辨率照片，不需要被識別對象附近裁剪(Krizhevsky et al., 2012b)。現(xiàn)代網(wǎng)絡能識別到少1000個不同類別對象。ImageNet大型視覺識別挑戰(zhàn)(ILSVRC)，每年舉行。卷積網(wǎng)絡第一次大幅贏得挑戰(zhàn)，前5錯誤率從26.1%降到15.3%(Krizhevsky et al.,2012b)。網(wǎng)絡針對每個圖像可能類別生成順序列表，除15.3%測試樣本，其他測試樣本正確類標出現(xiàn)在列表前5項。深度卷積網(wǎng)絡連續(xù)贏得比賽，深度學習前5錯誤率降到3.6%。Russakovsky et al.(2014b)和He et al.(2015)。

語音識別，20世紀90年代后，直到2000年停滯不前。深度學習引入(Dahl et al., 2010; Deng et al., 2010b; Seide et al., 2011; Hinton et al., 2012a)，語音識別錯誤率下降。

深度網(wǎng)絡行人檢測、圖像分割得到成功(Sermanet et al., 2013; Farabet et al., 2013; Couprie et al., 2013)，交通標志分類取得超越人類表現(xiàn)(Ciresan et al., 2012)。

Goodfellow et al.(2014d)，神經(jīng)網(wǎng)絡學習輸出描述圖像整個符序列。此前，學習需要對序列每個元素標注(Gulcehre and Bengio,2013)。循環(huán)神經(jīng)網(wǎng)絡，LSTM序列模型，對序列和其他序列關系建模。序列到序列學習引領機器翻譯顛覆性發(fā)展(Sutskever et al., 2014; Bahdanau et al., 2015)。

邏輯結論，神經(jīng)圖靈機(Graves et al., 2014)引入，學習讀取存儲單元和向存儲單元寫入任意內(nèi)容。從期望行為樣本學習簡單程序。從雜亂和排好序樣本學習對一系列數(shù)排序。自我編程技術起步階段，原則上未來可適用幾科所有任務。

強化學習(reinforcement learning)。自主智能體，沒有人類操作者指導，試錯學習執(zhí)行任務。DeepMind表明，深度學習強化學習系統(tǒng)學會玩Atari視頻游戲，在多種任務可與人類匹配(Mnih et al., 2015)。深度學習顯著改善機器人強化學習性能(Finn et al., 2015)。

深度學習應用高利潤，頂級技術公司：Googel、Microsoft、Facebook、IBM、Baidu、Apple、Adobe、Netflix、NVIDIA、NEC。

深度學習進步依賴軟件基礎架構進展。軟件庫，Theano(Bergstra et al., 2010a; Bastien et al., 2012a)、PyLearn2(Goodfellow et al., 2013e)、Torch(Collobert et al., 2011b)、DistBelief(Dean et al., 2012)、Caffe(Jia,2013)、MXNet(Chen et al., 2015)、TensorFlow(Abadi et al., 2015)。支持重要研究項目或商業(yè)產(chǎn)品。

對象識別現(xiàn)代卷積網(wǎng)絡為神經(jīng)科學家提供視覺處理模型(DiCarlo, 2013)。處理海量數(shù)據(jù)、科學領域有效預測工具，成功預測分子相互作用，幫助制藥公司設計新藥物(Dahl et al., 2014)。搜索亞原子粒子(Baldi et al., 2014)。自動解析構建人腦三維圖顯微鏡圖像(Knowles-Braley et al., 2014)。

深度學習是機器學習的一種方法。

參考資料：
《深度學習》

歡迎推薦上海機器學習工作機會，我的微信：qingxingfengzi

我有一個微信群，歡迎一起學深度學習。

總結

以上是生活随笔為你收集整理的学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。