Hinton的GLOM模型与千脑理论有何本质不同?
來源:AI科技評(píng)論
編譯 :琰琰
校對(duì) :青暮
Geoffrey Hinton在最新發(fā)表的一篇論文“如何在神經(jīng)網(wǎng)絡(luò)中表示部分-整體層次結(jié)構(gòu)”中提出了一種被稱為GLOM的新理論。
關(guān)于GLOM模型與千腦理論( Thousand Brains Theory )之間有何差異近日成了學(xué)者們討論的熱點(diǎn)。千腦理論是由Numenta聯(lián)合創(chuàng)始人、計(jì)算機(jī)科學(xué)家,神經(jīng)生物學(xué)家Jeff Hawkins于2018年提出的一種理解大腦運(yùn)行機(jī)制的新方法。
基于此,Numenta公司近日發(fā)表了一則官方博文,文章中研究人員Marcus Lewis 從高層次概述了GLOM模型與千腦理論的共同點(diǎn)和差異。詳細(xì)內(nèi)容可見以下視頻:
1
什么是千腦理論?
千腦理論( Thousand Brains Theory )是一種感知移動(dòng)(sensorimotor )理論,它通過模擬大腦皮層的腦回路,提出了一種理解大腦運(yùn)作過程的新方法。
Vernon Mountcastle 最早提出,皮層柱(Cortical Column)在大腦皮層的每一個(gè)功能區(qū)域和層級(jí)都執(zhí)行相同的計(jì)算。唯一不同的是輸入的變化。基于Mountcastle的理論,千腦理論提出,大腦并非構(gòu)造一個(gè)物體的模型,而是平行地構(gòu)造數(shù)千個(gè)物體的模型。
皮層柱用不同的感官輸入構(gòu)造模型。比如手掌上的手指可以代表五個(gè)不同的輸入感官,每一柱對(duì)它們所感知到的東西進(jìn)行投票并得出一種單一解釋,這種解釋也就是它們協(xié)商一致的結(jié)果。
這一理論的關(guān)鍵在于,大腦皮層的每一根皮層柱通過移動(dòng)來學(xué)習(xí)構(gòu)造物體的模型。也就是,通過觀察我們的感官輸入在移動(dòng)時(shí)發(fā)生的變化。例如,當(dāng)我們的眼睛在掃視時(shí),大腦中的皮層柱會(huì)不斷地預(yù)測(cè)新的感覺。
該理論還提出,大腦皮層主要處理由每個(gè)皮層柱產(chǎn)生的參照系。基于參考系,每一柱可以將感官輸入與物體的位置和結(jié)構(gòu)進(jìn)行關(guān)聯(lián),例如當(dāng)你觸摸杯子時(shí),你接收到的每個(gè)感覺都是相對(duì)于它在杯子上的位置進(jìn)行處理的結(jié)果(參考系允許這種情況的發(fā)生)。
2
它與GLOM模型有何相似之處?
GLOM模型是建立在Hinton早期的膠囊研究基礎(chǔ)之上的。早在2017年,Numenta公司副總裁Subutai Ahmad就分享了他對(duì)Hinton膠囊理論與 HTM 感知移動(dòng)理論之間的看法。
GLOM是一種計(jì)算機(jī)視覺模型,它提出了一種改善AI理解視覺場(chǎng)景的新方法。與千腦理論類似,它也由大量結(jié)構(gòu)相似的柱子組成。GLOM模型提出,每一柱都由五個(gè)不同層次的物體表示組成,并在不同的抽象層次上與特定的位置相關(guān)聯(lián)(例如,當(dāng)你觸摸杯子時(shí),柱的底層會(huì)形成一個(gè)彎曲邊緣的表示,頂層會(huì)形成一個(gè)杯柄的表示)。Hinton認(rèn)為,隨著時(shí)間的推移,每一層級(jí)的表示都應(yīng)該確定下來,即通過投票產(chǎn)生出一致的表示。最終,為物體建模的每一柱都將在頂層解析出物體(如咖啡杯)的一致表示。
由于Hinton的研究符合認(rèn)知科學(xué),而“千腦理論”是研究大腦皮層的一種模型,因此,Hinton提出的結(jié)構(gòu)同樣支持“千腦理論”,這是合乎邏輯的。總結(jié)來看,它們之間的相似性包括以下幾點(diǎn):
結(jié)構(gòu)相似的柱和層
每一柱都將感官輸入與特定位置相關(guān)聯(lián)
多個(gè)柱學(xué)習(xí)相同物體的表示。
每一柱都學(xué)習(xí)完整物體的表示。
橫向連接用于相鄰柱之間物體表示的局部共享
每一列都使用自下而上、自上而下以及橫向連接來對(duì)所感知物體表示進(jìn)行投票。
3
GLOM和千腦理論的三大區(qū)別
移動(dòng)
千腦理論的一個(gè)關(guān)鍵概念是:大腦皮層通過移動(dòng)來學(xué)習(xí)。當(dāng)我們移動(dòng)時(shí),大腦皮層會(huì)學(xué)習(xí)到我們周圍成千上萬個(gè)物體的模型。GLOM主要處理“單一且固定的時(shí)變圖像”,它將視覺視為一系列幀,那么靜態(tài)圖像就是一系列相同的“固定”幀。但我們知道視覺不是靜止的,它是一個(gè)互動(dòng)的過程。我們的眼睛每秒可以快速掃視三次,每次掃視大腦的視覺輸入都會(huì)發(fā)生變化。另外,當(dāng)我們移動(dòng)時(shí),視覺輸入也會(huì)隨之改變。
可以講,Hinton的論文并沒有涉及感知移動(dòng)問題,而這是千腦理論的核心組成部分。為了更好地訓(xùn)練GLOM模型識(shí)別物體,并解釋大腦處理視覺的過程,Hinton可能需要結(jié)合移動(dòng)來分析。
層次
千腦理論提出了一個(gè)全新的層次結(jié)構(gòu)概念,而GLOM模型的每一個(gè)柱都有傳統(tǒng)的特征檢測(cè)器層次結(jié)構(gòu)。在GLOM中,單個(gè)柱能夠跨越整個(gè)層次結(jié)構(gòu),因?yàn)樗拿總€(gè)層次都表示一個(gè)抽象的級(jí)別(即層次結(jié)構(gòu)級(jí)別);為了學(xué)習(xí)物體的模型,它通過自下而上和自上而下兩種方法傳遞信息。與之相反,千腦理論中的每一柱都處于一個(gè)層次。皮質(zhì)柱在層次結(jié)構(gòu)、大腦不同區(qū)域和感知方式上共同發(fā)揮作用。
映射到新皮質(zhì)
GLOM模型和千腦理論的最大區(qū)別在于:GLOM是受大腦啟發(fā)的,但它并不映射到特定的大腦皮層或者實(shí)驗(yàn)性的神經(jīng)科學(xué)。Hinton將其定義為一個(gè)計(jì)算機(jī)視覺問題,他用認(rèn)知科學(xué)來解決“如何使計(jì)算機(jī)智能化”的問題,他指出,GLOM是受生物學(xué)啟發(fā)而來,但作為一個(gè)生物模型,它已經(jīng)達(dá)到了讓人難以置信的地步。在這里,Hinton提供了一些GLOM部分的數(shù)學(xué)描述(非生物回路)。
相比之下,Numenta則將研究界定為一個(gè)智力問題,并試圖解釋“人類為什么是聰明的?”,研究人員的目標(biāo)是了解大腦的功能和運(yùn)作過程,并將這些核心原理應(yīng)用到當(dāng)今的機(jī)器學(xué)習(xí)系統(tǒng)中。與GLOM不同的是,千腦理論在生物學(xué)上是合理的,同時(shí)也是受限制的。因?yàn)樗枰M大腦皮層中所有構(gòu)成智力基礎(chǔ)的腦回路的生理結(jié)構(gòu)和細(xì)節(jié)。
GLOM提供了一種在神經(jīng)網(wǎng)絡(luò)中處理和表示視覺信息的創(chuàng)新方法。二者乍一看有相似之處,但歸根結(jié)底,GLOM與Numenta的“千腦理論”仍有本質(zhì)上的不同。大腦是目前唯一真正智能的計(jì)算機(jī),具有無與倫比的學(xué)習(xí)和適應(yīng)能力。要?jiǎng)?chuàng)造真正的智能系統(tǒng),需要先了解大腦是如何工作的。
原文鏈接:
https://medium.com/@Numenta/comparing-hintons-glom-model-to-numenta-s-thousand-brains-theory-88ed999ab13d
未來智能實(shí)驗(yàn)室的主要工作包括:建立AI智能系統(tǒng)智商評(píng)測(cè)體系,開展世界人工智能智商評(píng)測(cè);開展互聯(lián)網(wǎng)(城市)云腦研究計(jì)劃,構(gòu)建互聯(lián)網(wǎng)(城市)云腦技術(shù)和企業(yè)圖譜,為提升企業(yè),行業(yè)與城市的智能水平服務(wù)。
??如果您對(duì)實(shí)驗(yàn)室的研究感興趣,歡迎加入未來智能實(shí)驗(yàn)室線上平臺(tái)。掃描以下二維碼或點(diǎn)擊本文左下角“閱讀原文”
總結(jié)
以上是生活随笔為你收集整理的Hinton的GLOM模型与千脑理论有何本质不同?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 第一百二十期:终于有篇看的懂的B树文章了
- 下一篇: iofd:文件描述符_文字很重要:谈论设