赫布律是聯(lián)結(jié)主義的基石，聯(lián)結(jié)主義相信知識存儲在神經(jīng)元之間的聯(lián)結(jié)關(guān)系中。威廉.詹姆斯在其著作《心理學(xué)原理》中，闡明了連接的主要原理，這和赫布律十分相似，只是大腦活動被神經(jīng)元取代，放電效率被興奮的傳播取代。

在符號學(xué)派中，符號和它們之間代表的概念之間有一一對應(yīng)的關(guān)系。相反，聯(lián)結(jié)學(xué)派的代表方式卻是分散式的：每個概念由許多神經(jīng)元來表示，而每個神經(jīng)元又會和其他神經(jīng)元一起代表許多不同的概念。符號學(xué)派和聯(lián)結(jié)學(xué)派的另一個區(qū)別就在于，前者是按次序的，而后者是平行的。

第一個正式的神經(jīng)元模型是由沃倫.麥卡洛克和沃爾特.皮茨于1943年提出的。這個模型看起來很像組成計算機的邏輯門。當(dāng)“或”門至少一個輸入開關(guān)打開時，“或”門開通；當(dāng)所有輸入開關(guān)打開時，“且”門開通。

麥卡洛克-皮茨神經(jīng)元做不了的事情就是學(xué)習(xí)。為此我們需要對神經(jīng)元之間的連接給予不同的權(quán)重，這就是所謂的“感知器”。感知器于20世紀(jì)50年代由康奈爾大學(xué)的心理學(xué)家弗蘭克.羅森布拉特發(fā)明。在感知器中，一個正權(quán)值代表一個興奮連接，一個負權(quán)值代表一個抑制性連接。如果其輸入量的加權(quán)和高于界限值，那么會輸出1；如果加權(quán)和小于界限值，那么輸入0。通過改變權(quán)值和界限值，我們可以改變感知器計算的函數(shù)。當(dāng)然，這種做法忽略了神經(jīng)元發(fā)揮作用的很多細節(jié)，但我們想讓這個過程盡可能簡單點。

1969年，明斯基和西摩爾.佩普特一起出版了《感知器》一書，該書詳細介紹了同名算法的缺點，還一一列舉了該算法無法學(xué)習(xí)的內(nèi)容。最簡單的一個就是排斥——“或”功能（XOR）。如果它其中的一個輸入量是對的，那么這就是對的，但如果兩個都是對的，則是錯的。

既然感知器只能學(xué)習(xí)線性界限，那么它就無法對XOR進行學(xué)習(xí)。而如果感知器無法做到這一點，就無法很好地模擬大腦學(xué)習(xí)的方法，也不是終極算法可行的備選項。

1982年，霍普菲爾德發(fā)現(xiàn)了大腦和自旋玻璃驚人的相似之處，自旋玻璃是深受統(tǒng)計物理學(xué)家喜愛的特殊材料。旋轉(zhuǎn)玻璃其實并不是玻璃，雖然有一些玻璃的屬性，其實是磁性材料。自旋玻璃是大腦的一個不現(xiàn)實模型。對于一個電子來說，自旋相互作用是對稱的，而大腦中神經(jīng)元之間的連接卻不是對稱的。

就相鄰神經(jīng)元而言，一個神經(jīng)元只能處于兩種狀態(tài)：放電或不放電。但這忽略了一個很重要的巧妙之處。動作電位壽命短，電壓會在一秒之內(nèi)驟然升高，然后突然回到靜息狀態(tài)。而單個峰值對接收神經(jīng)幾乎不會有影響，為了喚醒接收神經(jīng)，需要一連串連續(xù)不斷的峰值。

神經(jīng)元與其說是一道邏輯門，不如說是一臺電壓頻率轉(zhuǎn)換器。隨電壓而變化的頻率曲線看起來像被拉長的字母S，它有很多叫法，比如邏輯函數(shù)、S形函數(shù)和S形曲線。

S形曲線作為一個獨立的模型，不僅很重要，它還是數(shù)學(xué)的萬事通。如果放大它的中段部位，你會發(fā)現(xiàn)它近似一條直線。很多我們認為是線性的現(xiàn)象，其實都是S形曲線，因為沒有什么能夠毫無限制地增長下去。

在感知器算法中，誤差信號要么是全有，要么是全無：你不是收到對的信號，就是收到錯的信號。反向傳播，正如這個算法為人們所知的一樣，比感知器算法要強大很多。單個神經(jīng)元只能夠?qū)χ本€進行學(xué)習(xí)。給定足夠的隱藏神經(jīng)，一臺多層感知器，正如它的名字一樣，可以代表任意的復(fù)雜邊界。這使得反向傳播成為聯(lián)結(jié)學(xué)派的主算法。

反向傳播是自然及技術(shù)領(lǐng)域中非常常見的戰(zhàn)略實例：如果你著急爬到山頂，那你就得爬找到的最陡的坡。這在技術(shù)上的術(shù)語為“梯度上升”或“梯度下降”。反向傳播就是在多層感知器中有效做到這一點的方法：不斷對權(quán)值進行微調(diào)，以降低誤差，然后當(dāng)所有調(diào)整失敗時，停止調(diào)整。

在反向傳播初次進入公眾視線時，聯(lián)結(jié)學(xué)派幻想能夠快速掌握越來越大規(guī)模的網(wǎng)絡(luò)，直到硬件允許的條件下，這些網(wǎng)絡(luò)等同于人工大腦。結(jié)果卻并非如此。掌握擁有一個隱含層的網(wǎng)絡(luò)沒問題，但在那之后，很快事情就會變得很困難。幾層的網(wǎng)絡(luò)，只有為了應(yīng)用而精心設(shè)計的才能起作用。超出這個范圍，反向傳播就會癱瘓。

如果聯(lián)結(jié)學(xué)派是過山車，那么對于最近的過山車轉(zhuǎn)彎，貢獻者之一的就是看上去普通的小設(shè)備，稱為“自動編碼器”。自動編碼器就是一臺多層感知器，其輸出量和輸入量一樣。

疊加自動編碼器不是唯一的深度學(xué)習(xí)算法，另外一種以玻爾茲曼機器作為基礎(chǔ)，還有一種——卷積神經(jīng)網(wǎng)絡(luò)，則把視皮質(zhì)模型作為基礎(chǔ)。盡管取得了很大的成功，然而這些成果仍與大腦相去甚遠。

聯(lián)結(jié)學(xué)派的一些人高調(diào)稱，反向傳播就是終極算法，而我們只需擴大反向傳播的規(guī)模。但符合學(xué)派對這種想法不屑一顧，他們指出一長串人類能做但神經(jīng)網(wǎng)絡(luò)做不了的事情。

如果人類具備的各種能力，大腦不經(jīng)過調(diào)整突觸就能掌握這些能力，那么這些能力從何而來？除非相信魔法，答案一定是：通過進化而來。

參考文獻：
????終極算法. [美] Pedro Domingos 著. 黃芳萍 譯

總結(jié)

以上是生活随笔為你收集整理的终极算法【4】——联结学派的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。