聯想記憶神經網絡是模擬人腦, 把一些樣本模式存儲在神經網絡的權值中, 通過大規模的并行計算, 使不完整的、受到噪聲“污染”的畸變模式在網絡中恢復到原有的模式本身。

大腦是人體最為復雜的信息處理系統。聯想記憶(AssociativeMemory, AM) 是人腦的重要認知功能之一。例如, 聽到1 首歌曲的一部分便可以聯想到整個曲子, 看到某人的名字會聯想到他(她) 的相貌等特點。前者稱為自聯想( Self-Association) , 而后者稱為異聯想(Hetero-Association) 。由于許多神經活動很難在實驗中直接被觀察, 例如: 在記憶腦區相關神經元集群的電活動不一定都能被觀察和記錄到, 即使能記錄到也不能體現某些關鍵的功能性編碼, 需要通過建立神經網絡模型對腦的聯想記憶功能進行仿真。因此, 聯想記憶神經網絡的研究近年來受到人們的極大關注[1- 3]。聯想記憶神經網絡是模擬人腦, 把一些樣本模式存儲在神經網絡的權值中, 通過大規模的并行計算, 使不完整的、受到噪聲“污染”的畸變模式在網絡中恢復到原有的模式本身。

自聯想記憶是指由受損的輸入模式恢復到完整的模式本身;異聯想記憶是指由輸入模式獲得與之相關的其他模式。不同于傳統的數字計算機按地址存儲信息的方式, 這種存儲的根據是內容存儲信息(Content- Addressable Memory) , 即找到信息的地址后便能找到這個信息, 因此要求不同的信息必須有不同的地址。本文主要對聯想記憶人工神經網絡模型的發展歷史及研究現狀進行了綜述。

2 聯想記憶神經網絡的發展

人工神經網絡(Artificial Neural Network, ANN) 是一門發展十分迅速的交叉學科, 涉及生物、計算機、數學、電子、物理、心理學、認識科學等多種學科。其發展可追溯到20 世紀,從時間進程來看, 可把這一歷史大致劃分為以下4 個時期:第一時期為發展初始期, 1890～1969 年; 第二時期為低潮時期, 1969～1982 年; 第三時期為復興時期, 1982～1986 年; 第四時期為發展高峰期, 從1986 年至今。1890 年,W.James 的專著《生理學》[4]一書首次闡明了有關人腦結構功能及相關學習聯想記憶的規則。1943 年, Mc-Culloch 和Pitts 融合了生物物理學和數學的有關結果, 提出了神經元突觸模型中最原始最基本的模型———MP 模型, 這是自W.James 以來第一個采用集體并行計算結構描述的人工神經網絡及網絡工作, 證明了MP 模型可完成任意有限的邏輯運算。1949 年, Hebb 通過對大腦神經細胞、人類學習行為和條件反射的觀察和研究, 發表了《行為自組織》專著, 提出了神經元學習的一般規則———Hebbin 算法, 指出當2 個神經元同時興奮時, 連接權值強度增加, 這一思想至今仍為許多算法所采用, 并在最近的生理解剖學中得到了證實。1969年, M.Minsky 和S.Pappert 發表《Perceptrons》[5]專著, 從數學的角度分析了Rosenblatt 的單層感知器, 以一個異或運算的例子批評了人工神經網絡, 使人工神經網絡的發展進入了低谷。1982 年, Hopfield[6]提出了著名的Hopfield 神經網絡模型。Hopfield 網絡首次引用能量函數的概念來分析動態網絡, 從多層前饋網絡和反饋網絡兩方面掀起了人工神經網絡全球性的研究熱潮。Hopfield 神經網絡模型是一種動態反饋神經網絡, 比前饋網絡具有更強的計算能力, 自聯想記憶是其重要特征。在Hopfield 神經網絡中, 每個神經元跟MP 模型一樣有2 種不同狀態: 0( 神經元不放電) ; 1( 神經元放電) 。由于網絡輸出端到其輸入端有反饋, 所以Hopfield 網絡在輸入的激勵下會產生不斷的狀態變化, 最終收斂到一個穩定的狀態, 從而實現聯想記憶功能。二值型Hopfield 能夠實現聯想記憶功能, 但是真實神經元并不是二值型的神經元。因此, 需要用具有真實神經元特性的神經元模型構建神經網絡, 才能更加接近真實的神經網絡。

20 世紀90 年代, 研究表明[7- 8]發放神經元( Spiking) 表現出了聯想記憶的特性。由于發放神經元更加接近真實生物神經元的特性, 因此, 由發放神經元模型構成的聯想記憶神經網絡模型成為目前科學研究的熱點, 如Hodgkin- Huxley 神經元模型、FitzHugh- Nagumo 神經元模型等就是典型的發放神經元模型。

◆◆

評論讀取中....

請登錄后再發表評論!

◆◆

修改失敗，請稍后嘗試

總結

以上是生活随笔為你收集整理的联想记忆计算机网络,什么是双向联想记忆神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。