Generalisation of structural knowledge in the

Hippocampal-Entorhinal system

https://www.groundai.com/project/generalisation-of-structural-knowledge-in-the-hippocampal-entorhinal-system/

海馬 - 內(nèi)嗅系統(tǒng)結(jié)構(gòu)知識(shí)的泛化

實(shí)體概念信息和位置及虛擬位置信息組成記憶保存并提取，位置信息通用，提高泛華能力。相同位置會(huì)有不同物體，相同物體會(huì)出現(xiàn)在不同位置。

抽象

理解智力的核心問題是泛化的概念。這允許以前學(xué)過的結(jié)構(gòu)被利用來解決在其特殊性不同的新情況下的任務(wù)。我們從神經(jīng)科學(xué)中獲得靈感，特別是海馬 - 內(nèi)嗅系統(tǒng)（包含地點(diǎn)和網(wǎng)格單元），這對(duì)于泛化非常重要。我們建議將結(jié)構(gòu)知識(shí)，世界結(jié)構(gòu)的表示，即世界中的實(shí)體如何相互關(guān)聯(lián)，需要與實(shí)體本身的表示分離。我們表明，在這些原則下，嵌入層次結(jié)構(gòu)和快速Hebbian記憶的人工神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)記憶的統(tǒng)計(jì)數(shù)據(jù)，推廣結(jié)構(gòu)知識(shí)，并且還展示了反映大腦中發(fā)現(xiàn)的神經(jīng)元表征。

1介紹

動(dòng)物具有天生的能力，靈活地從一個(gè)領(lǐng)域獲取知識(shí)并將其轉(zhuǎn)移到另一個(gè)領(lǐng)域。這還不是機(jī)器的情況。傳遞知識(shí)的好處很明顯 - 在新情況下可以快速推斷，因此不必總是重新學(xué)習(xí)。統(tǒng)計(jì)結(jié)構(gòu)的轉(zhuǎn)移（世界上的對(duì)象之間的關(guān)系）是特別有用的，因?yàn)樗屢粋€(gè)代理人能夠?qū)⑹挛?概念融合在一起，共享相同的統(tǒng)計(jì)結(jié)構(gòu)，但是在特殊性方面不同，例如當(dāng)人們聽到一個(gè)故事時(shí)，他們可以與他們已知的關(guān)于一般故事的內(nèi)容相匹配，例如開始，中間和結(jié)束 - 當(dāng)有趣的故事在聽新聞時(shí)出現(xiàn)時(shí)，可以推斷出該程序即將結(jié)束。

泛化是一個(gè)非常感興趣的話題。在機(jī)器學(xué)習(xí)和人工智能（AI）的進(jìn)步已經(jīng)非常可觀[ Krizhevsky等人（2012）Krizhevsky，Sutskever，和韓丁，Mnih等人（2015）Mnih，Kavukcuoglu，銀，魯蘇，俯伏，馬克·G，格雷夫斯Riedmiller，Fidjeland，Ostrovski，Petersen，Beattie，Sadik，Antonoglou，King，Kumaran，Wierstra，Legg和Hassabis ]但是對(duì)是否正在學(xué)習(xí)“真正的”底層結(jié)構(gòu)存在懷疑。我們提出，為了學(xué)習(xí)和推廣結(jié)構(gòu)知識(shí)，這個(gè)結(jié)構(gòu)必須明確表示，即與世界上感官對(duì)象的表征分離。在共享相同結(jié)構(gòu)但具有不同感官對(duì)象的世界中，明確表示的結(jié)構(gòu)可以與聯(lián)合代碼中的感官信息相結(jié)合。這允許新的感官觀察與先前學(xué)習(xí)的結(jié)構(gòu)知識(shí)相適應(yīng)，這導(dǎo)致泛化。

為了理解我們?nèi)绾螛?gòu)建這樣一個(gè)系統(tǒng)，我們從神經(jīng)科學(xué)中獲取靈感。海馬是已知可用于generalisaiton，存儲(chǔ)器重要，因果關(guān)系，推導(dǎo)，傳遞推理，單次想象力和導(dǎo)航的問題[ Dusek和Eichenbaum的（1997） ，巴克馬斯特等人（2004）巴克馬斯特，Eichenbaum的，阿馬拉爾， Suzuki和Rapp，Hassabis等（2007）Hassabis，Kumaran，Vann和Maguire ]。我們提出海馬記憶的統(tǒng)計(jì)數(shù)據(jù)是通過皮層提取的[ McClelland et al。（1995）McClelland，McNaughton和O'Reilly ]，并且未來的海馬表征/記憶被限制為與所學(xué)習(xí)的結(jié)構(gòu)知識(shí)一致。我們發(fā)現(xiàn)這是一個(gè)使用人工神經(jīng)網(wǎng)絡(luò)（ANNs）建模的有趣系統(tǒng)，因?yàn)樗梢蕴峁╆P(guān)于機(jī)器一般化問題的見解，進(jìn)一步理解生物系統(tǒng)本身并繼續(xù)連接神經(jīng)科學(xué)和人工智能研究[ Hassabis et al。 （2017）Hassabis，Kumaran，Summerfield和Botvinick，Whittington和Bogacz（2017） ]。

對(duì)于空間導(dǎo)航，我們很好地理解了位置細(xì)胞（海馬）和網(wǎng)格細(xì)胞（內(nèi)側(cè)內(nèi)嗅皮層）形式的神經(jīng)元表征。因此，在對(duì)這個(gè)系統(tǒng)進(jìn)行建模時(shí)，我們從類似于導(dǎo)航的問題開始，這樣我們就可以利用并將我們的結(jié)果與已知的表示信息進(jìn)行比較。位置細(xì)胞[ O'Keefe等人，（1971）奧基夫，Dostrovsky，Dostrovske，和Dostrovsky ]，并且隨后的網(wǎng)格單元[ Hafting等人（2005）Hafting，Fyhn，莫爾登，Moser的，和莫澤 ]對(duì)神經(jīng)科學(xué)領(lǐng)域產(chǎn)生了激進(jìn)的影響，并獲得了2014年諾貝爾生理學(xué)和醫(yī)學(xué)獎(jiǎng)。放置單元和網(wǎng)格單元是相似的，因?yàn)樗鼈儗?duì)于特定的空間區(qū)域具有一致的點(diǎn)火模式。放置單元往往只在給定環(huán)境中的單個(gè)（或多個(gè)）位置點(diǎn)燃，然而網(wǎng)格單元以規(guī)則格子模式點(diǎn)燃空間。這些細(xì)胞鞏固了“認(rèn)知地圖”的概念，即動(dòng)物擁有它所駕駛的空間的內(nèi)部表征。傳統(tǒng)上這些細(xì)胞被認(rèn)為只是空間的。從那時(shí)起，地方單元可以編碼完全非空間維度，例如聲音頻率[ Aronov等（2017）Aronov，Nevers和Tank ]。還已經(jīng)表明，有像的二維（2D）網(wǎng)格編碼非空間坐標(biāo)系統(tǒng)[ 康斯坦丁等人（2016）康斯坦丁，O'Reilly的，和貝倫斯 ]，并且其用于空間環(huán)境中響應(yīng)該網(wǎng)格單元，也在非空間環(huán)境中作出反應(yīng)[ Aronov等（2017）Aronov，Nevers和Tank ]。因此，地點(diǎn)和電網(wǎng)編碼似乎并不僅僅用于空間認(rèn)知，而可能是表示信息的一般方式。

網(wǎng)格單元可以提供一個(gè)通用的結(jié)構(gòu)代碼。最近的研究結(jié)果表明，他們通過海馬地方細(xì)胞的PCA [ Dordek et al。（2016）Dordek，Soudry，Meir和Derdikman ]或者作為前代表征的特征向量[ Stachenfeld et al。（2017 ）Stachenfeld，Botvinick和Gershman ]。這些總結(jié)統(tǒng)計(jì)意味著我們不僅可以在“空間”空間中概括2D規(guī)則，例如，如果A接近于B，B接近于C，那么我們可以推斷出A和C也接近。事實(shí)上，在共享結(jié)構(gòu)的環(huán)境中，網(wǎng)格單元表示是相似的（參見第5節(jié)））。地方單元可能會(huì)提供一個(gè)聯(lián)合表示。他們的活動(dòng)已被證明是由感覺環(huán)境以及位置[ Komorowski等（2009）Komorowski，Manns和Eichenbaum ]調(diào)制的。另外，一個(gè)環(huán)境中的地點(diǎn)單元代碼與結(jié)構(gòu)相同的環(huán)境中的代碼不同 - 這被稱為重新映射[ Bostock等人（1991）Bostock，Muller和Kubie，Leutgeb等人（2005）Leutgeb，Leutgeb，Barnes ，Moser，McNaughton和Moser ]。重新映射傳統(tǒng)上被認(rèn)為是隨機(jī)的。然而，我們建議位置單元格是結(jié)構(gòu)（網(wǎng)格單元格）輸入和感官輸入之間的連接表示，因此將單元格重新映射到與此連接一致的位置。

我們在人工神經(jīng)網(wǎng)絡(luò)中實(shí)施我們的建議，任務(wù)是在2D圖形世界上行走時(shí)預(yù)測感官觀察，其中每個(gè)頂點(diǎn)都有相關(guān)的感官體驗(yàn)。為了做出準(zhǔn)確的預(yù)測，代理必須學(xué)習(xí)圖的底層隱藏結(jié)構(gòu)。我們將結(jié)構(gòu)從感官認(rèn)同中分離出來，提出網(wǎng)格單元編碼結(jié)構(gòu)，并將單元格形成身份和結(jié)構(gòu)之間的連接表示（圖1）。這種連接表示形成了一個(gè)記憶，它是結(jié)構(gòu)和身份之間的橋梁，并允許相同的結(jié)構(gòu)性代碼在具有相同統(tǒng)計(jì)但不同感官體驗(yàn)的環(huán)境中重復(fù)使用。預(yù)測狀態(tài)轉(zhuǎn)換發(fā)生在網(wǎng)格單元中，因?yàn)榫W(wǎng)格代碼是2D空間導(dǎo)航的自然基礎(chǔ)[Stemmler等（2015）Stemmler，Mathis和Herz， Bush等（2015）Bush，Barry，Manson和Burgess ]。我們結(jié)合了Hebbian學(xué)習(xí)，允許快速形成情景記憶，并帶有梯度下降，后者逐漸學(xué)習(xí)提取這些記憶的統(tǒng)計(jì)數(shù)據(jù)。我們專注于二維圖形，因此我們可以將我們學(xué)習(xí)的表示與空間（地點(diǎn)和網(wǎng)格單元）的良好表征的神經(jīng)元表示進(jìn)行比較，然而注意到我們的方法對(duì)于任何圖形結(jié)構(gòu)都是通用的。我們進(jìn)一步提出了重新映射實(shí)驗(yàn)的分析[ Barry等（2012）Barry，Ginzberg，O'Keefe和Burgess ]，它們支持我們的模型假設(shè)，顯示了位置單元重映射到與網(wǎng)格編碼一致的位置， 。

二

我們執(zhí)行無監(jiān)督學(xué)習(xí)，除了可用的行為，當(dāng)前的行為和即時(shí)的感知數(shù)據(jù)外，不向網(wǎng)絡(luò)提供任何外部信息。這些都是可用于生物媒介的信息，不像x ，y

或地面真實(shí)空間表示。我們進(jìn)一步提出了網(wǎng)格單元在泛化中的作用，而不僅僅是導(dǎo)航。

然而，我們選擇我們的存儲(chǔ)器存儲(chǔ)和尋址是計(jì)算生物學(xué)上合理的（而不是使用更類似于RAM的其他類型的可微存儲(chǔ)器）以及使用分層處理。這使我們的模型能夠發(fā)現(xiàn)對(duì)導(dǎo)航和尋址記憶都有用的表示。我們也明確地將空間的抽象結(jié)構(gòu)從任何特定的內(nèi)容中分離出來（圖1）。

我們遵循類似的思想來補(bǔ)充學(xué)習(xí)系統(tǒng)[ McClelland等（1995）McClelland，McNaughton和O'Reilly ]，其中海馬記憶的統(tǒng)計(jì)數(shù)據(jù)由皮層提取。我們另外建議，這種學(xué)習(xí)到的結(jié)構(gòu)知識(shí)限制了海馬在新環(huán)境中的表現(xiàn)，允許學(xué)習(xí)知識(shí)的重用。

三

通用的方法是在空間中抽象表示位置，然后記下在該位置觀察到的刺激。

我們提出網(wǎng)格單元表示是抽象空間中的一個(gè)位置，而位置單元表示對(duì)于快速情節(jié)記憶的形成是有用的。我們建議將刺激與該位置聯(lián)系起來，記憶應(yīng)該是抽象位置和感覺刺激的結(jié)合，因此我們提出位置單元形成感覺器和網(wǎng)格輸入之間的連接表示（圖1）。這與實(shí)驗(yàn)證據(jù)

我們將感官數(shù)據(jù)，一個(gè)國家的物品/對(duì)象體驗(yàn)看作是來自經(jīng)由橫向內(nèi)嗅皮層的'什么流'。我們模型中的網(wǎng)格單元是來自中間內(nèi)嗅皮層的'哪里流'。我們的連接記憶將“什么”與“何處”聯(lián)系起來。

（動(dòng)物視覺的what where 視覺）

Thus we view the Entorhinal-Hippocampal system as a system that performs inference. The grid cells make an inference based on its previous estimate of location in abstract space, sensory information that it can link to previous locations via memory, and information regarding the available actions to be taken (a.k.a boundary information). The place cells, formalised in section 3.1, are a conjunction between the sensory data x≤t, and current location in abstract space gt, and are stored as memories.

https://github.com/GokuMohandas/fast-weights

6 結(jié)論：

這里我們提出了一個(gè)由海馬 - 內(nèi)嗅系統(tǒng)啟發(fā)的結(jié)構(gòu)泛化機(jī)制。我們提出可以通過結(jié)構(gòu)和刺激的明確分離來概括狀態(tài)空間統(tǒng)計(jì)，同時(shí)使用連接記憶表示來連接兩者。我們提出使用空間層次來允許有效的組合代碼。我們已經(jīng)表明，在純粹無監(jiān)督的學(xué)習(xí)環(huán)境中，層次網(wǎng)格狀和地點(diǎn)狀表示自然地從我們的模型中出現(xiàn)。我們已經(jīng)表明這些表示對(duì)于狀態(tài)空間的概括是有效的，但對(duì)于分層存儲(chǔ)器尋址也是有效的。我們還提供了實(shí)驗(yàn)證據(jù)，證明網(wǎng)格和地點(diǎn)單元在環(huán)境中保持其關(guān)系，這支持了我們的模型假設(shè)

DeepMind時(shí)間序列生成模型GTMM - NTM改進(jìn)

https://github.com/GokuMohandas/fast-weights

https://www.groundai.com/project/generative-temporal-models-with-spatial-memory-for-partially-observed-environments/

https://www.groundai.com/project/temporal-difference-variational-auto-encoder/

原文鏈接：https://cloud.tencent.com/developer/article/1160003 創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的海马体what where记忆推理模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。