當前位置：首頁 > 运维知识 > windows >内容正文

windows

【z】数字神经网络系统

發布時間：2024/3/24 windows 31 豆豆

生活随笔收集整理的這篇文章主要介紹了【z】数字神经网络系统小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

數字神經網絡系統

第一篇基礎理論

一、概述

二、生物原型研究

2-1.人體神經結構

人工數字神經網絡系統源于人腦神經網絡。了解人腦神經網絡的組成和原理，有助于對人工神經網絡的理解。

2-1-1.神經元

人腦是認識客觀世界的器官。研究表明，人的意識、思維、行為等腦的高級功能都與客觀世界密切相關。神經科學起始于上個世紀末，1875年意大利解剖學家C.Golgi用染色體法首先識別出單個神經細胞，1889年Caial創立了神經元學說，指出了神經系統是由結構上相對獨立的神經細胞構成，在最近幾十年來的研究結果認為人腦的神經元效量為1013。每個神經元包含了以下幾個結構特性：

2-1-1-1. 細胞體(Cell Body)，其大小在5至100微米的直徑不等。細胞體由細胞核，細胞質和細胞膜組成。

2-1-1-2. 鈾突(Axon)，是細胞體向其它細胞伸出的最長一條分支，即神經纖維，相當于細胞的輸出，每個神經元只有一個。

2-1-1-3. 樹突(也稱枝晶，Dendrites)，是細胞體向外伸出的許多較短的樹狀分支，相當于細胞的輸入。

2-1-1-4. 突觸(Synaptic)，是神經元之間連接的接口。整個腦內突觸的數目大約在1014一1015之間，通過突觸互連，連接方式不同，其生理作用也不同。突觸的信息傳遞特性可變，因此細胞之間的連接強度可變，這是一種柔性連接，也稱為神經元結構的可塑性。

另外，研究表明，神經元細胞膜內外之間存在電位差，稱為膜電位。膜外為正，膜內為負。其大小約為幾十微伏。膜電壓接受神經其它神經元的輸入后，電位上升或下降，當轉入沖動的時空整合結果，使膜電位上升，而且當超過叫做動作電位的團值時，細胞進入興奮狀態，產生神經沖動，由軸突輸出，這個過程稱為興奮。動作閡值電位約為40微伏13傳入的沖動時空整合結果使膜電壓下降并低于動作電壓的聞值時，細胞進入抑制狀態，無神經沖動輸出。

2-1-2.信息傳遞

突觸是神經細胞間傳遞信息的結構，突觸由三部分構成，即突觸前成分，突觸間隙和突觸后成分。突觸所傳遞的信息采用電傳遞和化學傳遞兩種方式。突觸前成分是神經末梢上一個特化了的部分。突觸末梢形成許多球形的小體。小體上直接進入突觸連接部分的質膜叫做突觸前膜。小體原漿中含有大量的突觸小泡，小泡的直徑約為200--800埃，內含神經遞質。突觸前膜外面是突觸間隙，是突觸前后之間的一個區域，其寬度為100-500埃。突觸間隙的液體與細胞外液體是連通的，因此具有相同的離子組成。突觸后細胞的一邊是突觸下膜，它是突觸后細胞質膜特化的區域，含有待殊的分子受體。突觸的結構示圖和突軸信息傳遞過程。

高等動物神經系統中，突觸前的電活動不直接引起突觸后成分的活動，不存在電學耦連。突觸傳遞一般通過持殊的化學物質中介，這種物質叫做神經介質或遞質，突觸的信息傳遞只能由突觸前到突觸后，不存在反向活動的機制。因此突觸傳遞是單方向的。興奮一分泌耦連，神經介質釋放和介質在間隙的擴散直到突觸后膜的去極化約需o。5-1毫秒，這就是突延遲。用微電極技術研究脊髓前角細胞的模電位。根據突觸后電位的反應，將突觸分為兩種：興奮性突觸和抑制性突觸。神經末梢釋放介質使突觸后膜產生極化反應，即興奮性突觸后電位，這是興奮性突觸。如果釋放介質使突觸后膜產生超極化反應，即抑制性突觸后電位，則是抑制性突觸。在許多可興奮的細胞之間發現電學期連。現已證明，縫隙連接在形態上代表這種耦連。電學突觸能夠提供更大的傳輸速率，并在神經細胞間產生整合作用。

另外研究也表明了神經網絡的復雜多樣性，不僅在于神經元和突觸的數量大，組合方式復雜和聯系廣泛，還在于突觸傳遞機制中，釋放神經遞質是實現突觸傳遞機制的中心環節，不同的神經遞質有著不同的作用性質和特點。神經遞質在維持正常生理功能方面起著重要的作用，通過電信號-化學反應信號系統傳遞神經信息，進行復雜的信息加工，實現對機體的調節控制。

2-2. 神經組織

神經元與神經纖維構成的神經組織具有兩種基本特性，即興奮與傳導。當神經元的某一部分受到某種刺激時，在受刺激的部位就產生興奮。這種興奮會沿著神經元擴散開來，并在一定的條件下通過突觸傳達到相連的神經細胞。神經纖維的一部分興奮起來時產生電位或電流的變化。這就是生物電流，是研究神經興奮狀態的標志。電位的變化非常迅速且短暫，叫做峰形電位。神經興奮的結果產生神經沖動，神經沖動是能量傳遞的一種方式。通常，一條神經纖維接受一個適度的刺激時測會產生一個沖動。但當對一個神經來進行刺激時，則會引起若干纖維同時沖動。刺激越強，則發生沖動的神經纖維越多，反之亦然。實驗表明，神經沖動的能量并非來自刺激。而是神經纖維本身產生的。刺激的作用是引發神經纖維產生沖動。

對于人體來說，在外界、內界環境刺激下，通過神經系統，機體對刺激產生規律性回答。外部和內部刺激物作用于感受器，引起神經沖動。神經沖動沿著傳入神經傳達到神經中樞。通過中樞的神經聯系，再經傳出神經傳達到效應器官，引起反應。這就是一個完整的反射過程。產生反射活動的基本結構組成有感受器，傳入神經，神經中樞，傳出神經和效應器。感受器一艙是神經組織末梢的特殊結構，它把刺激的能量轉變為神經的興奮過程，所以感受器是一種換能裝置。

某一特定的反射往往是在刺激特定的感受器后產生的，該特定感受器所在的部位成為這個感受器的感受野。神經中樞是指調節某一特定生理機能的神經細胞群。神經中樞的活動可以通過神經纖維直接影響效應器，在某些情況下，也可以通過體液的道路間接影響效應器，這種體液調節就是指內分泌腺的調節。這時反射是按感受器、傳入神經、神經中樞、傳出神經、內分泌腺、激素在血液中轉運、效應器這樣的過程進行。

反射可以分為兩種：無條件反射和條件反射。無條件反射是先天性的，一定刺激作用于一定的感受野時。常引起一定的反射。例如，食物入口引起唾液分泌反射，機械刺激角膜產生眨眼反射等。無條件反射使人們能初步適應環境。條件反射是在機體的生活中形成的，它可以隨著機體的外部環境和內部狀況的變化而變化。條件反射的建立大大擴展了機體的反應范圍。比無條件反射有更大的預見性和靈活性，更適應于復雜變化的生存環境。在實際活動中，無條件反射和條件反射的劃分有相對的意義，肌體的每一活動都具有這兩種反射的性質。在肌體內。無條件反射只有在新生時出現，在這以后由于條件反射不斷建立，條件反射和無條件反射越來越不可分割地融合在一起。每次無條件反射出現，都有條件反射參與，而條件反射歸根到底是在無條件反射的基礎上建立的，它的構成已經把某些無條件反射的成分包括了進去。所以，幾乎所有的生理機能都是無條件反射相條件反射的有機統一。

2-3. 視覺神經

眼是人接收來自外部信息的最主要的接收器官，是最為復雜的感官器官。外界物體的光線射入眼中，聚焦后在視網膜上成像，視網膜發出神經沖動達到大腦皮層視區，產生視覺。人眼的簡要水平切面如圖所示。角膜與晶狀體之間是前房，虹膜與晶狀體之間是后房，前房、后房之間都充滿液體叫房水。晶狀體的后方直到視網膜充滿透明的膠狀物質，叫玻璃體。角膜，房水與晶狀體等構成折光系統，它是透明的組織，能把物像形成在視網膜上。在所有的感官系統中，視網膜的結構最復雜。視網膜為感光系統，能感受光的刺激，發放神經沖動。它不僅有一級神經元(感光細胞)，還有二級神經元(雙極細胞)和三級神經無(神經節細胞)。

感光細胞有兩種，視桿和視錐細胞。二者都與雙極細胞形成突觸聯系。雙極細胞外端與視桿細胞和視錐細胞相連，內端與神經節細胞相接。感光細胞的分布是不均勻的，視錐細胞分布在視網膜的中央凹部分。前視桿細胞則分布在視網膜的比較邊緣部分。在視神經進入的地方沒有感受細胞，形成盲點。視桿細胞的特點是對弱光有高度的感受性，因而是夜視覺的器官。視錐細胞對光的強度有較弱的感受性，因而是晝視覺的器官。視桿細胞中含有夜視覺所必須的視紫紅質。視錐細胞中含有晝視覺所必須的視紫質。視錐細胞可以感受和分辨顏色。

視神經是由成柬的神經節細胞的軸突組成，來自兩側的視神經在腦下垂體前方會合成視交叉。在這里組成每一根視神經的神經纖維束在進一步進入腦部之前被重新分組。從視神經交叉再發出的神經束叫作視束。在重新分組時，來自兩眼視網膜右側的纖維合成一束傳向腦的右半部．來自兩眼視網膜左側的纖維合成另一束傳向腦的左半部(如圖所示)。

這兩束經過改組的纖維視柬繼續向腦內行進，大部分終止于丘腦的兩個被分成外側膝狀體的神經核。外腺體的細胞主要有兩類，投射細胞相中間神經元。外膝體完成輸入信息處理上的第一次分離，然后傳送到大腦的第一視區和第二視區。外膝體屬丘腦，是眼到視皮層的中繼站。這就是視覺通路。視網膜上的光感受細胞通過光化學反應和光生物化學反應，產生光感受器電位和神經脈沖，在視網膜上沿垂直和水平兩個方向傳遞信息。這樣的信息沿著視覺通路進行傳播。視覺信號按連續步驟進行加工．發生在每一水平的轉變相整合。從神經感受野可以作出員完善的分析。中樞神經元的感受野是指能影響某一視神經元反應的視網膜或視野的區域。每個視皮層，外側膝狀體的神經元或視網膜神經細胞節細胞在視網膜上均有其特定的感受野，視網膜上神經細胞的感受野都是同心圓。可分為開中心圓型和閉中心圓型兩類。外側膝狀體的神經元的感受野與神饅節細胞相似。皮層神經無的感受野至少可分為三種類型：簡單型、復雜型、超復雜型。

HubeL相WieseI于1962年提出了一個組合的感受野模式。具有相同感受野

的視皮層神經元在垂直于皮層表明的方向上呈住狀分布．它們是視皮層的基本功能單位，成為超柱。超柱內的神經元對同一感受野中圖像和景物的各種持征進行并行的處理和譯碼，是產生主觀感知覺的重要神經基礎。現在大體止有兩種超住模型及譯碼理論：特征提取理論和空間頻率分析器理論。視覺持征提取理論認為．視覺廢層的超柱是由許多不同特征的提取功能柱所組成。每種功能校內的細胞不但感受野相同，其功能也相同，根據功能不同可以分為方位柱，服勢柱和顏色柱等。與上述特征提取的超柱模型不同，視覺空間頻率分析器的理論則認為．視皮層的神經元類似于傅立葉分析器，每個神經元敏感的空間頻率不同。大量的研究結果表明，對復雜圖形的視知覺即包含待征提取．又包括空間按空間頻率分析的譯碼過程。此外．視皮層以外的皮層聯絡區也協同活動。

MHter和Stryker總結了眼優勢柱的生理學研究成果之后，建立了眼優勢柱模型。他們認為視皮層活動性差異是形成神經元可塑性的基礎，活動性差異的統計學規律是優勢柱形成的基礎．每只限傳入刺激引起的視皮層神經元單位發放模式的相關性，比西服同時性傳入刺激引起的發放差異，在服優勢校形成中具有更大的作用；不僅傳入刺激引起的突觸前神經活動模式是重要的，突觸后的皮層神經元反應模式在服優勢校中也是重要的。這些假設基本符合Hebb突觸理論觀點。

2-4. 腦記憶生理機制

神經生理學家一直在從事腦在何處以及如何記憶的研究。研究結果表明．在腦細胞經受多次某個對象的刺激而保持連續興奮狀態時，只有當這種刺激達到一定強度(閥值)之后，腦細胞里才會留下痕跡。而且當這個對象刺激的頻率提高時．閥值降低，記憶更加牢固。

人腦的大量神經細胞都以發射和不發射沖動對行為和精神活動做出貢獻。這些細胞之間以多種方式交互作用。動態記憶理論是由桑克在1982年提的，它描述了記憶是如何組織的，記憶是怎樣從過去經驗中獲得智能而自動改變和增長的。當證實過去的經驗失敗就存儲新的經驗，即由經驗中學習，用聯想及從聯想中歸納的方法改變結構以適應預測的失敗。動態記憶依賴持續運行的神經沖動，或者依賴于可能由重復到達的沖動所強化的神經元內某些活躍的代謝變化和電位變化的保持。通過聯系神經元的封閉環(或神經沖動)可能是這種動態記憶機制，每個記憶項目依賴于特定的神經元環或網的活動。事實上人們的記憶容量比神經元多，因此，不同的記憶可能共用部分通路。如果沖動實際上沒打留下長時持續的痕跡，那么活動一旦停止．記憶便完全地，不可改變地消失掉。

另外，實驗證明記憶不是純動態的。但是這并不排除最初對神經元的依賴性。沖動的運行必然包含在那種留下記憶痕跡的最初經驗中。重復造成更好的記憶這一事實告訴我們．沖動為了以后留下持久的物質變化必須在它選定的道路上循環流動。事實上鞏固記憶痕跡的確需要時間作為代價。學習機制表明，突觸結構的變化，或者神經蛋白質的變化，是這種持久的靜態痕跡。那么神經元原來不起作用，由于活動而可能變得起作用并持續起作用。既然是記憶就存在一個記憶位置的問題。

在神經元生理學中，記憶研究最常用的方法是對人腦進行局部破壞，觀察歸納障礙的情況。實驗表明記憶與海馬有密切的關系。另外與記憶有關的是杏仁體。杏仁體把感覺輸入信號會聚成同樣-些部分，又把神經纖維深入地送進大腦小的丘腦下部。杏仁體的多種聯系構成為認為它能為記憶服務的多種作用的基礎。從皮質感覺系統最終一個神經站來的神經纖維到達杏仁體。感覺印象在那里啟動記憶系統的一條環路，它依靠杏仁體和丘腦之間的聯系。杏仁體和丘腦之間的聯系．杏仁體和丘腦下部之間的紐帶似乎允許把-種體驗與情感通路接合起來。那些紐帶通過激活從杏仁體到感覺通路之間的反復聯系，也可以便感情影響學習。從杏仁體返回到感覺區的聯系的存在，有可能解釋一個單一的刺激能引出多種多樣的記憶。如當嗅到一種熟悉的食物的氣味時能喚起對它的外觀、質地和味道記憶。?

總的來說．兩個主要的記憶回路分別起源于海馬和杏仁體，它們負責許多種認知學習。除此之外，還存在用于學習的第二系統。復制刺激反應是該系統中的關鍵部分，我們稱這種學習類型為習慣。習慣是刺激和反應的無意識接合。行為主義心理學家早就證明這種接合是所有學習的基礎。行為主義觀點中排除了通常意義中的"精神"、"認知"、以及"記憶"這樣一些術語。學習可能依靠兩個完全不同的系統，其中之一源自認知性習慣，另一個則是認知記憶的基礎。這樣就可調和行為主義和認知主義學派，行為就可能是對刺激的無意識反應和由認知和期望所指導的行為的接合體。

三、神經網絡和分布系統

3-1. 分布系統

3-1-1. 概述

分布系統是在人類周圍存在的最為普遍的系統。分布系統與非分布系統存在著較大的差異。非分布系統往往受一個統一命令的指揮，有一個集中發布命令的機構。與之相反，分布系統有多個發布命令的機構，故而稱之為分布的。顯然分布系統應該包含異步這一層含義，既然沒有統一的指揮機構自然表現為非同步。另外，對于分布系統不能期待整個系統為完全有序。即從宏觀上看是有序的，而在微觀動作上存在著隨機性，以實現與其它系統或環境的協調。此外，分布系統中的每個要素相互競爭、協調，在各種制約下作為整體保持一定秩序，適應外界的變動。社會學中的很多現象，如一個人類集團內部，民族之間、國家之間，以至人與人，人類與自然之間等等普遍存在這種現象。

3-1-2. 系統的特點：

3-1-2-1. 分布性

分布性體現在．系統由多個獨立智能要素構成。獨立的智能要素可以是簡單要素，也可以是子系統，它們有某種自主的決定權利。

3-1-2-2. 蠕動性

就分布系統本身而言，有其不確定性，即系統并非固定不變。在此，系統存在某種程度的流動性、模糊性、異步性，各要素之間通過相互作用、相互通信達到協調工作。

3-1-2-3. 自組織

分布系統能適應環境的變化進行自組織，按一種規律或秩序來達到某一目的。自組織與自適應概念相似。自適應是通過自組織(或重構)實現的。系統在自組織過程中不斷地從外界環境中吸取信息，不斷地重新組織本身。

3-1-2-4. 集中與分布共享

"集中"的含義是指用一個統一的命令體系來控制系統動作。在此我們對這一解釋稍加擴展。如果在一個系統中有多個主體、自律要素或子系統，它們執行一個動作，這種情況在客觀效果上與執行統一命令相同，我們也使用"集中"這個術語。"分布"與"集中"恰好相對，如果所有的要素接受不同的、獨立的信息，進行不同的動作，我們稱之為"完全"的分布系統。對于一般的分布系統而言，它往往表現在"集中"與"完全"分布系統之間，即在分布系統中某些要素接受不同的、獨立的信息，進行不同的動作，而另外一些要素可能在一個或多個不同的統一的命令體系控制下進行動作。恰當選擇分布系統的組成形式有助于使系統的功能可以達到某一最終日的或實現某一秩序。

3-1-2-5. 宏觀性

研究分布系統時并不注重每個要素的微觀動作，如同在熱力學研究中不關心每個氣體分子的狀態一樣。氣體分子在微觀層次上完全無序，而在宏觀層次上看來是均勻的。在分布系統研究中著眼于系統整體的宏觀動作或秩序。當然，微觀和宏觀是相對的概念。

3-2. 人工神經網絡

3-2-1. 概述

人工神經網絡在80年代中期得到了飛速的發展。1982年美國加州州立理工學院物理學家Hopfield教授提出了Hopfield人工神經網絡模型，他將能量函數的概念引入人工神經網絡，并給出了穩定性的判據，開拓了人工神經網絡用于聯想記憶和優化計算的新途徑。

人工神經網絡模擬人類部分形象思維的能力，是模擬人工智能的一條途徑。特別是可以利用人工神經網絡解決人工智能研究中所遇到的一些難題。人工神經網絡理論的應用已經滲透到多個領域，在計算機視覺、模式識別、智能控制、非線性優化、自適應濾波相信息處理、機器人等方面取得了可喜的進展。

人工神經網絡模型發展到今日已有百余種模型，建造的方法也是多種多樣，有出自于熱力學的．數學方法的，模糊以及混沌方法。對于有規則的網絡結構比較適合我們習慣的簡潔分析方法。由于網絡拓撲結構的規則性，限制了系統的自由性和無序運動，因而可以采用非效力學的其它方法。如對于前饋拓撲結構的人工神經網絡，可使用感知器算法、誤差反傳遞算法、競爭學習算法等。盡管如此，鑒于人工神經網絡從本質上體現了分布系統的基本性質，所以分布系統的理論和方法均適合人工神經網絡的研究。

3-2-2. 人工神經網絡的信息處理原理

人工神經網絡是由大量稱為神經處理單元的自律要素以及這些自律要素相互作用形成的網絡。它是在多年來對神經科學研究的基礎之上，經過一定的抽象、簡化與模擬的人工信息處理模型。它反映了人腦功能的某些基本持性．促又不世人腦的真實寫照，形所-個具有高度非線性的大規模非線性動力學系統。必須指出，人工神經網絡絕對不是任何意義的人腦的神經網絡或其它生物腦。人工神經網絡系統基礎功能：

3-2-2-1. 學習能力：通過實踐進行學習；

3-2-2-2. 自適應能力：系統能適應外界的變化保持良好的性能；

3-2-2-3. 自組織能力：依據外部環境的變化進行自組織，自適應是通過自組織實現的；

3-2-2-4. 容錯與自修復能力：對不完整的信息給出正確的解答，或者系統內部發生某些故障時仍能達到良好的狀態；

3-2-2-5. 輸入輸出能力；

3-2-2-6. 知識表示能力；

3-2-2-7. 模式存儲、檢索能力。

從數學的角度可以歸納為以下幾個基礎屬性：

a) 非線性：人工神經元可以表述為激活和抑制兩種基本狀態，這就是一種非線性關系。

b) 非局域性：人工神經網絡系統是以人工神經元之間的相互作用表現信息的處理和存儲能人。系統的整體行為不僅取決于單個神經元的狀態，而且取決于它們之間的相互作用，用此來模擬大腦的非局域性。

c) 非凸性：非凸性是指人工神經網絡的演化過程在滿足一定條件下取決于某特定函數，而且該函數具有多個穩定點，這將導致在不同邊界條件下得到不同的結果，這就是系統演變的多樣性。

d) 非定常性；表現在人工神經網絡具有自組織、自適應和自學習能力。

在分布系統論中假定了分布系統中的大量處理單元都是自律要素，并且通過自律要素間的相互作用體現整體性能相信息處理能力。自律要素的處理能力可以是非常復雜，也可能異常簡單。相對而言，在人工神經網絡模型中，一般假設神經元是一個非常簡單的處理單元．每個單元向其它單元發送興奮性或抑制性信號。單元表示可能存在的假設，單元之間的相互作用則表示單元之間存在的約束。這些單元的穩定激活模式就是問題的解。

3-3. 企業數字神經網絡

企業數字神經系統是人工神經網絡系統在企業管理上的一種應用系統。數字神經系統通過對神經元以及神經系統的模仿，確立系統模型，解決企業的信息傳遞機制和流程問題。系統核心強調信息準確、傳遞及時、對象合理。業數據交流的雙向性、互動性和數據信息的復雜性，數字神經系統的網絡模型是一種綜合的神經網絡模型。根據不同的一些情況，采用反饋神經網絡、自組織神經網絡模型。

反饋神經網絡模型：采用經典的Hopfield網絡模型。在反饋神經網絡中，輸入數據決定反饋系統的初始狀態，然后系統經過一系列狀態轉移后，逐漸收斂于平衡狀態。這樣的平御伏態就是反饋神經網絡經計算后的輸出結果。 Hopfield經常被用于資源組合優化問題。

自組織網絡模型(Self-organizing Neural NetWork)：Kohonen的自組織特征映射神經網絡(seIf-organizing Feature Map)。自組織神經網絡是一種無教師學習神經網絡，它能模擬人類根據過去經驗自動適應無法預測的環境變化。

第二篇? 系統模型

第一章典型神經網絡模型

模擬人類實際神經網絡的數學方法問世以來，人們已慢慢習慣了把這種人工神經網絡直接稱為神經網絡。神經網絡在系統辨識．模式識別，智能控制等領域有著廣泛而吸引人的前景。特別在智能控制中，人們對神經網絡的自學習功能尤其感興趣，并且把神經網絡這一重要特點看作是解決自動控制中按制器適應能力這個難題的關鍵鑰匙之一。

神經網絡的基礎在于神經元。

神經元是以生物神經系統的神經細胞為基礎的生物模型。在人們對生物神經系統進行研究，以探討人工智能的機制時，把神經元數學化，從而產生了神經元數學模型。

大量的形式相同的神經元連結在—起就組成了神經網絡。神經網絡是一個高度非線性動力學系統。雖然，每個神經元的結構和功能都不復雜，但是神經網絡的動態行為則是十分復雜的；因此，用神經網絡可以表達實際物理世界的各種現象。

神經網絡模型是以神經元的數學模型為基礎來擁述的。神經網絡模型由網絡拓撲．節點特點和學習規則來表示。神經網絡對人們的巨大吸引力主要在下列幾點：

1．并行分布處理。

2．高度魯棒性和容錯能力。

3．分布存儲及學習能力。

4．能充分逼近復雜的非線性關系。

在控制領域的研究課題中，不確定性系統的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經網絡的學習能力，使它在對不確定性系統的控制過程中自動學習系統的特性，從而自動適應系統隨時間的特性變異，以求達到對系統的最優控制；顯然這是一種十分振奮人心的意向和方法。

人工神經網絡的模型現在有數十種之多，在這一章中，主要介紹應用較多的典型的神經網絡模型。這些模型包括BP網絡、Hopfield網絡、ART網絡和Kohonen網絡。

1.1?? 神經網絡的基本機理和結構

神經網絡的基本組成單元是神經元，在數學上的神經元模型是和在生物學上的神經細胞對應的。或者說，人工神經網絡理論是用神經元這種抽象的數學模型來描述客觀世界的生物細胞的。

很明顯，生物的神經細胞是神經網絡理論誕生和形成的物質基礎和源泉。這樣，神經元的數學描述就必須以生物神經細胞的客觀行為特性為依據。因此，了解生物神經細胞的行為特性就是一件十分重要而必須的事了。

神經網絡的拓樸結構也是以生物學解剖中神經細胞互連的方式為依據的。對神經細胞相互作用情況的揭露也是十分重要的。

1．1．1 神經元及其行為機理

神經元是神經網絡基本元素。只有了解神經元才能認識神經網絡的本質。在這一節介紹神經元的生物學解副，信息的處理與傳遞方式，工作功能以及其數學模型。

一、神經元的生物學解剖

在人體內，神經元的結構形式并非是完全相同的；但是，無論結構形式如何，神經元都是由一些基本的成份組成的。神經元的生物學解剖可以用圖1—1所示的結構表示。從圖中可以看出：神經元是由細胞體，樹突和軸突三部分組成。

圖1-1? 神經元的解剖

1．細胞體

細胞體是由很多分子形成的綜合體，內部含有一個細胞核、核糖體、原生質網狀結構等，它是神經元活動的能量供應地，在這里進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細胞的最外層稱為細胞膜。

2．樹突

細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳人的信息的入口。

3．軸突

細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經元興奮的信息傳出到其它神經元的出口。

突觸，是一個神經元與另一個神經元之間相聯系并進行信息傳送的結構。突觸如圖1—2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一·個神經元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300?。突觸后成分可以是細胞體，樹突或軸突。突觸的存在說明：兩個神經元的細胞質并不直接連通，兩者彼此聯系是通過突觸這種結構接口的。有時．也把突觸看作是神經元之間的連接。

圖1-2?? 突觸結構

目前，根據神經生理學的研究，已經發現神經元及其問的突觸起碼有不同的4種行為。神經元的4種生物行為有：

(1)能處于抑制或興奮狀態；

(2)能產生爆發和平臺兩種情況；

(3)能產生抑制后的反沖；

(4)具有適應性。

突觸的4種生物行為有：

(1)能進行信息綜合；

(2)能產生漸次變化的傳送；

(3)有電接觸和化學接觸等多種連接方式；

(4)會產生延時激發。

目前，人工神經網絡的研究僅僅是對神經元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。所以，神經網絡的研究只是處于起步的初級階段，后邊還有大量的工作等人們去探討和研究。目前，神經網絡的研究已向人們展示了其美好的前景；只要按階段不斷取得進展，神經元和突觸的其它行為是完全可以實現人工模擬的。

二.神經元的信息處理與傳遞

1．神經元的興奮與抑制

人工神經網絡對神經元的興奮與抑制進行模擬，故而首先應了解神經元的興奮與抑制狀態。

一個神經元的興奮和抑制兩種狀態是由細胞膜內外之間不同的電位差來表征的。在抑制狀態，細胞膜內外之間有內負外正的電位差，這個電位差大約在-50—-100mv之間。在興奮狀態，則產生內正外負的相反電位差，這時表現為約60—100mv的電脈沖。細胞膜內外的電位差是由膜內外的離子濃度不同導致的。細胞的興奮電脈沖寬度一般大約為1ms。神經元的興奮過程電位變化如圖1—3所示。

圖1-3.神經元的興奮過程電位變化

2．神經元的信息傳遞及閥值特性

對神經細腦的研究結果表明：神經元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經元去。

由神經元傳出的電脈沖信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產生變化從而釋放神經遞質，這種神經遞質通過突觸的間隙而進入到另一個神經元的樹突中。樹突上的受體能夠接受神經遞質從而去改變膜向離子的通透性．使膜外內離子濃度差產生變化；進而使電位產生變化。顯然，信息就從一個神經元傳送到另一個神經元中。

當神經元接受來自其它神經元的信息時，膜電位在開始時是按時間連續漸漸變化的。當膜電位變化經超出一個定值時，才產生突變上升的脈沖，這個脈沖接著沿軸突進行傳遞。神經元這種膜電位高達一定閥值才產生脈沖傳送的特性稱閥值特性。

這種閥值特性從圖1—3中也可以看出。

神經元的信息傳遞除了有閥值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經元的軸突末梢傳向后一級神經元的樹突或細胞體，不能反之。另一個是延時性傳遞．信息通過突觸傳遞，通常會產生0.5—1ms的延時。

3．神經元的信息綜合特性

神經元對來自其它神經元的信息有時空綜合特性。

在神經網絡結構上，大量不同的神經元的軸突末梢可以到達同一個神經元的樹突并形成大量突觸。來源不同的突觸所釋放的神經遞質都可以對同一個神經元的膜電位變化產生作用。因此，在樹突上，神經元可以對不同來源的輸入信息進行綜合。這就是神經元對信息的空間綜合特性。

對于來自同一個突觸的信息，神經元可以對于不同時間傳人的信息進行綜合。故神經元對信息有時間綜合特性。

4．神經元、突觸的D/A、A/D特性

從神經元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，故而是一個數字量。但在突觸中神經遞質的釋放和樹突中膜電位的變化是連續的。故而，這時說明突觸有D/A功能。在神經元的樹突膜電位高過一定閥值時，則又變成電脈沖方式由軸突傳送出去。故而，這個過程說明神經元有A/D功能。

很明顯，信息通過一個神經元傳遞時，神經元對信息執行了D/A、A/D轉換過程。

從上面可知，神經元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。

三、神經元的數學模型

從神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據神經元的特性和功能，可以把神經元抽象為一個簡單的數學模型。工程上用的人工神經元模型如圖1—4所示。

圖1—4???? 神經元的數學模型

在圖1—4中，X₁，X₂，……，X_n是神經元的輸入，即是來自前級n個神經元的軸突的信息A是i神經元的閻值；W_i1，W_i2……，W_in分別是i神經元對X₁，X₂，……，X_n的權系數，也即突觸的傳遞效率；Y_i是i神經元的輸出；f[·]是激發函數，它決定i神經元受到輸人X₁，X₂，……，X_n的共同刺激達到閥值時以何種方式輸出。

從圖1—4的神經元模型，可以得到神經元的數學模型表達式：

(1-1)

圖1-5.典型激發函數

對于激發函數f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式，這三種形式如圖1—5所示。

為了表達方便；令：

(1-2)

則式(1-1)可寫成下式：

Y_i=F[U_i] ；?????? (1-3)

顯然，對于階躍型激發涵數有：

(1-4)

對于線性型激發函數，有：

f(U_i)=K_u_{；????????????}(1-5)

對于S型激發函數，有：

(1-6)

對于階躍型激發函數，它的輸出是電位脈沖，故而這種激發函數的神經元稱離散輸出模型。

對于線性激發函數，它的輸出是隨輸入的激發總量成正比的；故這種神經元稱線性連續型模型。

對于用s型激發函數，它的輸出是非線性的；故這種神經元稱非線性連續型模型。

上面所敘述的是最廣泛應用而且人們最熟悉的神經元數學模型；也是歷史最長的神經元模型。近若干年來，隨著神經網絡理論的發展，出現了不少新穎的神經元數學模型，這些模型包括邏輯神經元模型，模糊神經元模型等，并且漸漸也受到人們的關注和重視。

1.1.2 神經網絡結構及功能

神經元和神經網絡的關系是元素與整體的關系。神經元的結構很簡單，工作機理也不深奧；但是用神經元組成的神經網絡就非常復雜，其功能也十分奧妙。

人們平常十分清楚磚頭是很簡單的，但是用簡單的磚頭，人們就可以筑造出各種美倫美灸的建筑物；無論是優雅的別墅，亦或是高聳雄偉的大廈，或者是粗曠的金字塔，亦或是莊嚴肅穆的教堂，無一不是由簡單的磚頭砌堆而成。簡單的神經元也是如此，通過不同方式的連接和信息傳遞，也就能產生豐富多彩的神經網絡結構，創造出令人贊嘆的優異功能。

一、神經網絡

神經網絡就是由許多神經元互連在一起所組成的神經結構。把神經元之間相互作用的關系進行數學模型化就可以得到神經網絡模型。

1．神經網絡的基本屬性

神經網絡有些基本屬性，它們反映了神經網絡的特質。

(1)非線性

人腦的思維是非線性的，故人工神經網絡模擬人的思維也應是非線性的。

(2)非局域性

非局域性是人的神經系統的一個特性，人的整體行為是非局域性的最明顯體現。神經網絡以大量的神經元連接模擬人腦的非局域性，它的分布存儲是非局域性的一種表現。

(3)非定常性

神經網絡是模擬人腦思維運動的動力學系統，它應按不同時刻的外界刺激對自己的功能進行修改，故而它是一個時變的系統。

(4)非凸性

神經網絡的非凸性即是指它有多個極值，也即系統具有不只一個的較穩定的平衡狀態。這種屬性會使系統的演化多樣化。神經網絡的全局優化算法就反映了這一點，例如模擬退火法。

2．神經網絡模型

神經網絡在目前已有幾十種不同的模型。人們按不同的角度對神經網絡進行分類，通常可按5個原則進行神經網絡的歸類。

按照網絡的結構區分，則有前向網絡和反饋網絡。

按照學習方式區分，則有有教師學習和無教師學習網絡。

按照網絡性能區分，則有連續型和離散性網絡，隨機型和確定型網絡。

按照突觸性質區分，則有一階線性關聯網絡和高階非線性關聯網絡。

按對生物神經系統的層次模擬區分，則有神經元層次模型，組合式模型，網絡層次模型，神經系統層次模型和智能型模型。

通常，人們較多地考慮神經網絡的互連結構。一段而言，神經網絡有分層網絡，層內連接的分層網絡．反饋連接的分層網絡，互連網絡等4種互連結構，這些結構如圖1—6所示。

在人們提出的幾十種神經網絡模型中，人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和ART(自適應共振理論)網絡。

(d)互連網絡

Hopfield網絡是最典型的反饋網絡模型，它是目前人們研究得最多的模型之一。Hopfield網絡是由相同的神經元構成的單層，并且不具學習功能的自聯想網絡。它需要對稱連接。這個網絡習以完成制約優化和聯想記憶等功能。

BP網絡是反向傳播(Back Propagation)網絡。它是一種多層前向網絡，采用最小均方差學習方式。這是一種最廣泛應用的網絡。它可用于語言綜合，識別和自適應控制等用途。BP網路需有教師訓練。

Kohonen網絡是典型的自組織神經網絡，這種網絡也稱為自組織特征映射網絡SOM。它的輸入層是單層單維神經元；而輸出層是二維的神經元，神經元之間存在以“墨西哥帽”形式進行側向交互的作用。因而，在輸出層中，神經元之間有近揚遠抑的反饋特性；從而使Kohonen網絡可以作為模式特征的檢測器。

ART網絡也是一種自組織網絡模型。這是一種無教師學習網絡。它能夠較好地協調適應性，穩定性和復雜性的要求。在ART網絡中，通常需要兩個功能互補的子系統相互作用．這兩個子系統稱注意子系統和取向子系統。ART網絡主要用于模式識別，它不足之處是在于對轉換、失真和規模變化較敏感。

3．神經網絡的學習規則

神經網絡的學習規則可以粗略分成3類，這些類別分別如下：

第一類學習規則稱相關學習規則。這種規則只根據連接間的激活水平改變權系數。

常用于自聯想網絡，如Hopfield網絡。

第二類學習規則稱糾錯學習規則。這種規則根據輸出節點的外部反饋改變權系數。在方法上它和梯度下降法等效，按局部改善最大的方向一步步進行優化，從而最終找到全局優化值。感知器學習就采用這種糾錯學習規則．例如BP算法。用于統計性算法的模擬退火算法也屬于這種學習規則。

第三類學習規則稱無教師學習規則。它是一種對輸入測檢進行自適應的學習規則。

ART網絡的自組織學習算法即屬于這一類。

二、神經網絡信息處理的數學過程

神經網絡信息處理可以用數學過程來說明，這個過程可分為兩個階段；執行階段和學習階段。下面以前向網絡情況說明這兩個階段。

1．執行階段

執行階段是指神經網絡對輸入信息進行處理，并產生對應的輸出過程。在執行階段，網絡的連接結構和權系數是已經確定并且不會變化的。這時有：

	(1-7)
X_i(t+1)=f_i[u_i(t+1)]	(1-8)

其中：X_i是前級神經元的輸出；

W_ij是第i個神經元和前級j個神經元突觸的權系數

θ_i：是第i個神經元的閥值；

f_i為第i個神經元的非線性激活函數；

X_i為第i個神經元的輸出。

2．學習階段

學習階段是指神經網絡自完善的階段；這時，網絡按一定的學習規則修改突觸的權系數W_ij，以使到結定的測度函數E達到最小。一般取：

E=(T_i,X_i)?????????? (1-9)

其中，T_i是教師信號；

X_i是神經元的輸出。

學習公式可以表示為下面數學表達式：

(1-10)

其中：Ψ是一個非線性函數；

η_ij是權重變化率；

n是學習時的迭代次數。

對于梯度學習算法，則可以采用下面具體公式：

(1-11)

神經網絡對信息的處理一般都需要學習階段和執行階段結合，才能實現合理的處理過程。神經網絡對信息的學習是為了取得對信息的適應特性，或信息的特征；而神經網絡對信息的執行過程是對特征的檢索或者是對信息的分類過程。

學習和執行是神經網絡不可缺少的兩個處理和功能。神經網絡的各種有效的行為和作用，都是通過這兩個關鍵的過程來實現的。

通過學習階段，可以把神經網絡訓練成對某種信息模式特別敏感，或具有某種特征的動力學系統。通過執行階段，可以用神經網絡識別有關信息模式或特征。

在智能控制中，用神經網絡作為控制器，則在學習時就是以神經網絡去學習被控對象的特征，從而使神經網絡能適應被控對象的輸入輸出關系；這樣，在執行時，神經網絡就能以學習到的知識對被控對象實現恰如其分的控制。

1.2反向傳播BP模型

學習是神經網絡一種最重要也最令人注目的特點。在神經網絡的發展進程中，學習算法的研究有著十分重要的地位。目前，人們所提出的神經網絡模型都是和學習算法相應的。所以，有時人們并不去祈求對模型和算法進行嚴格的定義或區分。有的模型可以有多種算法．而有的算法可能可用于多種模型。不過，有時人們也稱算法為模型。

自從40年代Hebb提出的學習規則以來，人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法，即BP(error BackPropagation)法影響最為廣泛。直到今天，BP算法仍然是自動控制上最重要、應用最多的有效算法。

1．2．1 神經網絡的學習機理和機構

在神經網絡中，對外部環境提供的模式樣本進行學習訓練，并能存儲這種模式，則稱為感知器；對外部環境有適應能力，能自動提取外部環境變化特征，則稱為認知器。

神經網絡在學習中，一般分為有教師和無教師學習兩種。感知器采用有教師信號進行學習，而認知器則采用無教師信號學習的。在主要神經網絡如BP網絡，Hopfield網絡，ART網絡和Kohonen網絡中；BP網絡和Hopfield網絡是需要教師信號才能進行學習的；而ART網絡和Kohonen網絡則無需教師信號就可以學習。所謂教師信號，就是在神經網絡學習中由外部提供的模式樣本信號。

一、感知器的學習結構

感知器的學習是神經網絡最典型的學習。

目前，在控制上應用的是多層前饋網絡，這是一種感知器模型，學習算法是BP法，故是有教師學習算法。

一個有教師的學習系統可以用圖1—7表示。這種學習系統分成三個部分：輸入部，訓練部和輸出部。

圖1-7? 神經網絡學習系統框圖

輸入部接收外來的輸入樣本X，由訓練部進行網絡的權系數W調整，然后由輸出部輸出結果。在這個過程中，期望的輸出信號可以作為教師信號輸入，由該教師信號與實際輸出進行比較，產生的誤差去控制修改權系數W。

學習機構可用圖1—8所示的結構表示。

在圖中，X_l，X₂，…，X_n，是輸入樣本信號，W₁，W₂，…，W_n是權系數。輸入樣本信號X_i可以取離散值“0”或“1”。輸入樣本信號通過權系數作用，在u產生輸出結果 ∑W_iX_i，即有：

u=∑W_iX_i=W₁X₁+W₂X₂+…+W_nX_n

再把期望輸出信號Y(t)和u進行比較，從而產生誤差信號e。即權值調整機構根據誤差e去對學習系統的權系數進行修改，修改方向應使誤差e變小，不斷進行下去，使到誤差e為零，這時實際輸出值u和期望輸出值Y(t)完全一樣，則學習過程結束。

神經網絡的學習一般需要多次重復訓練，使誤差值逐漸向零趨近，最后到達零。則這時才會使輸出與期望一致。故而神經網絡的學習是消耗一定時期的，有的學習過程要重復很多次，甚至達萬次級。原因在于神經網絡的權系數W有很多分量W₁，W₂，----W_n；也即是一個多參數修改系統。系統的參數的調整就必定耗時耗量。目前，提高神經網絡的學習速度，減少學習重復次數是十分重要的研究課題，也是實時控制中的關鍵問題。

二、感知器的學習算法

感知器是有單層計算單元的神經網絡，由線性元件及閥值元件組成。感知器如圖1-9所示。

圖1-9?? 感知器結構

感知器的數學模型：

(1-12)

其中：f[.]是階躍函數，并且有

(1-13)

θ是閥值。

感知器的最大作用就是可以對輸入的樣本分類，故它可作分類器，感知器對輸入信號的分類如下：

(1-14)

即是，當感知器的輸出為1時，輸入樣本稱為A類；輸出為-1時，輸入樣本稱為B類。從上可知感知器的分類邊界是：

(1-15)

在輸入樣本只有兩個分量X1，X2時，則有分類邊界條件：

(1-16)

即

???? W₁X₁+W₂X₂-θ=0?????? (1-17)

也可寫成

(1-18)

這時的分類情況如固1—10所示。

感知器的學習算法目的在于找尋恰當的權系數w＝(w1．w2，…，Wn)，使系統對一個特定的樣本x＝(xt，x2，…，xn)熊產生期望值d。當x分類為A類時，期望值d＝1；X為B類時，d=-1。為了方便說明感知器學習算法，把閥值θ并人權系數w中，同時，樣本x也相應增加一個分量x_n+1。故令：

W_n+1=-θ，X_n+1=1????? (1-19)

則感知器的輸出可表示為：

(1-20)

感知器學習算法步驟如下：
1．對權系數w置初值
對權系數w＝(W₁．W₂，…，W_n，W_n+1)的各個分量置一個較小的零隨機值，但W_n+1＝
—g。并記為W_l(0)，W₂(0)，…，W_n(0)，同時有Wn+1(0)＝-θ。這里W_i(t)為t時刻從第i個
輸入上的權系數，i＝1，2，…，n。W_n+1(t)為t時刻時的閥值。

圖1-10 感知器的分類例子

2．輸入一樣本X＝(X₁，X₂，…，X_n+1)以及它的期望輸出d。

期望輸出值d在樣本的類屬不同時取值不同。如果x是A類，則取d＝1,如果x是B類，則取-1。期望輸出d也即是教師信號。

3．計算實際輸出值Y

4．根據實際輸出求誤差e

e＝d—Y(t)?????? (1-21)

5．用誤差e去修改權系數

i=1,2,…,n,n+1????? (1-22)

其中，η稱為權重變化率，0<η≤1

在式(1—22)中，η的取值不能太大．如果1取值太大則會影響w_i(t)的穩定；的取值也不能太小，太小則會使W_i(t)的求取過程收斂速度太慢。

當實際輸出和期望值d相同時有：

W_i(t+1)=W_i(t)

6．轉到第2點，一直執行到一切樣本均穩定為止。

從上面式(1—14)可知，感知器實質是一個分類器，它的這種分類是和二值邏輯相應的。因此，感知器可以用于實現邏輯函數。下面對感知器實現邏輯函數的情況作一些介紹。

例：用感知器實現邏輯函數X₁VX₂的真值：

X₁	0011
X₂	0101
X₁V X₂	0111

以X1VX2＝1為A類，以X1VX2=0為B類，則有方程組

(1-23)

即有：

(1-24)

從式(1—24)有：

W₁≥θ,W₂≥θ

令 W₁=1,W₂=2

則有：θ≤1

取?? θ=0.5

則有：X1+X2-0.5=0,分類情況如圖1—11所示。

圖1-11? 邏輯函數X₁VX₂的分類

1．2．2 神經網絡學習的梯度算法

從感如器的學習算法可知，學習的目的是在于修改網絡中的權系數，使到網絡對于所輸入的模式樣本能正確分類。當學習結束時，也即神經網絡能正確分類時，顯然權系數就反映了同類輸人模式樣本的共同特征。換句話講，權系數就是存儲了的輸人模式。由于權系數是分散存在的，故神經網絡自然而然就有分布存儲的特點。

前面的感知器的傳遞函數是階躍函數，所以，它可以用作分類器。前面一節所講的感知器學習算法因其傳遞函數的簡單而存在局限性。

感知器學習算法相當簡單，并且當函數線性可分時保證收斂。但它也存在問題：即函數不是線性可分時，則求不出結果；另外，不能推廣到一般前饋網絡中。

為了克服存在的問題，所以人們提出另一種算法——梯度算法(也即是LMS法)。

為了能實現梯度算法，故把神經元的激發函數改為可微分函數，例如Sigmoid函數，非對稱Sigmoid函數為f(X)=1/(1+e^-x),對稱Sigmoid函數f(X)=(1-e^-x)/(1+e^-x)；而不采用式(1—13)的階躍函數。

對于給定的樣本集X_i(i＝1，2，，n)，梯度法的目的是尋找權系數W^*，使得f[W^*.X_i]與期望輸出Yi盡可能接近。

設誤差e采用下式表示：

(1-25)

其中，Y_i＝f〔W^*·X_i]是對應第i個樣本X_i的實時輸出

Y_i是對應第i個樣本X_i的期望輸出。

要使誤差e最小，可先求取e的梯度：

(1-26)

其中：

(1-27)

令? U_k=W^.X_k,則有：

(1-28)

即有：

(1-29)

最后有按負梯度方向修改權系數W的修改規則：

(1-30)

也可寫成：

(1-31)

在上式(1—30)，式(1—31)中，μ是權重變化率，它視情況不同而取值不同，一般取0-1之間的小數。
很明顯，梯度法比原來感知器的學習算法進了一大步。其關鍵在于兩點：

1．神經元的傳遞函數采用連續的s型函數，而不是階躍函數；

2．對權系數的修改采用誤差的梯度去控制，而不是采用誤差去控制。故而有更好的動態特能，即加強了收斂進程。

但是梯度法對于實際學習來說，仍然是感覺太慢；所以，這種算法仍然是不理想的。

1．2．3 反向傳播學習的BP算法

反向傳播算法也稱BP算法。由于這種算法在本質上是一種神經網絡學習的數學模型，所以，有時也稱為BP模型。

BP算法是為了解決多層前向神經網絡的權系數優化而提出來的；所以，BP算法也通常暗示著神經網絡的拓撲結構是一種無反饋的多層前向網絡。故而．有時也稱無反饋多層前向網絡為BP模型。

在這里，并不要求過于嚴格去爭論和區分算法和模型兩者的有關異同。感知機學習算法是一種單層網絡的學習算法。在多層網絡中．它只能改變最后權系數。因此，感知機學習算法不能用于多層神經網絡的學習。1986年，Rumelhart提出了反向傳播學習算法，即BP(backpropagation)算法。這種算法可以對網絡中各層的權系數進行修正，故適用于多層網絡的學習。BP算法是目前最廣泛用的神經網絡學習算法之一，在自動控制中是最有用的學習算法。

一、BP算法的原理

BP算法是用于前饋多層網絡的學習算法，前饋多層網絡的結構一般如圖1—12所示

圖1-12? 網絡學習結構

它含有輸人層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于它們和外界沒有直接的聯系，故也稱為隱層。在隱層中的神經元也稱隱單元。隱層雖然和外界不連接．但是，它們的狀態則影響輸入輸出之間的關系。這也是說，改變隱層的權系數，可以改變整個多層神經網絡的性能。

設有一個m層的神經網絡，并在輸入層加有樣本X；設第k層的i神經元的輸入總和表示為U_i^k，輸出X_i^k；從第k—1層的第j個神經元到第k層的第i個神經元的權系數為W_ij各個神經元的激發函數為f，則各個變量的關系可用下面有關數學式表示：

X_i^k=f(U_i^k)??	(1-32)
	(1-33)

反向傳播算法分二步進行，即正向傳播和反向傳播。這兩個過程的工作簡述如下。

1．正向傳播

輸入的樣本從輸入層經過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經元的狀態只對下一層神經元的狀態產生影響。在輸出層把現行輸出和期望輸出進行比較，如果現行輸出不等于期望輸出，則進入反向傳播過程。

2．反向傳播

反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經元的權系數進行修改，以望誤差信號趨向最小。

二、BP算法的數學表達

BP算法實質是求取誤差函數的最小值問題。這種算法采用非線性規劃中的最速下降方法，按誤差函數的負梯度方向修改權系數。

為了說明BP算法，首先定義誤差函數e。取期望輸出和實際輸出之差的平方和為誤差函數，則有：

(1-34)

其中：Y_i是輸出單元的期望值；它也在這里用作教師信號；

X_i^m是實際輸出；因為第m層是輸出層。

由于BP算法按誤差函數e的負梯度方向修改權系數，故權系數W_ij的修改量Aw_ij，和e

	(1-35)
也可寫成
	(1-36)

其中：η為學習速率，即步長。

很明顯，根據BP算法原則，求ae/aW_ij最關鍵的。下面求ae/aW_ij；有

	(1-37)
由于
	(1-38)
故而
	(1-39)
從而有
	(1-40)
令
	(1-41)
則有學習公式：
	(1-42)

其中：η為學習速率，即步長，一般取0-1間的數。

從上面可知，d_i^k實際仍末給出明顯的算法公式，下面求d_i^k的計算公式。

	(1-43)
從式(1-32)可知在式(1-43)中，有
	(1-44)

為了方便進行求導，取f為連續函數。一般取非線性連續函數，例如Sigmoid函數。當取f為非對稱Sigmoid函數時，有：

則有：f'(U_i^k)=f'(U_i^k)(1-f(U_i^k))
???????????? =X_i^k(1-X_i^k)??????????????? (1-45)

再考慮式(1—43)中的偏微分項ae／aX_i^k，有兩種情況需考慮的：

如果k＝m，則是輸出層，這時有Y_i是輸出期望值，它是常數。從式(1-34)有

	(1-46)
從而有?? d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)	(1-47)
2．如果k<m，則該層是隱層．這時應考慮上一層對它的作用，故有：
	(1-48)
從式(1—41)中，可知有：
	(1-49)
從式(1—33)中，可知有：
	(1-50)
故而有
	(1-51)
最后有：
	(1-52)

從上述過程可知：多層網絡的訓練方法是把一個樣本加到輸入層，并根據向前傳播的規則：

X_i^k=f(U_i^k)

不斷一層一層向輸出層傳遞，最終在輸出層可以得到輸出X_i^m。

把Xim和期望輸出Yi進行比較．如果兩者不等，則產生誤差信號e，接著則按下面公式反向傳播修改權系數：

	(1-53)
其中
d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)

上面公式中，求取本層d_i^k時，要用到高一層的d_i^k+1；可見，誤差函數的求取是從輸出層開始，到輸入層的反向傳播過程。在這個過程中不斷進行遞歸求誤差。

通過多個樣本的反復訓練，同時向誤差漸漸減小的方向對權系數進行修正，以達最終消除誤差。從上面公式也可以知道，如果網絡的層數較多時，所用的計算量就相當可觀，故而收斂速度不快。

為了加快收斂速度，一般考慮上一次的權系數，并以它作為本次修正的依據之一，故而有修正公式：

(1-54)

其中：η為學習速率，即步長，η＝0．1—0．4左右

ɑ為權系數修正常數，取0．7—0．9左右。

在上面，式(1—53)也稱為一般化的Delta法則。對于沒有隱層的神經網絡，可取

(1-55)

其中：，Y_i為期望輸出；

X_j為輸出層的實際輸出；

X_i為輸入層的輸入。

這顯然是一種十分簡單的情況，式(1—55)也稱為簡單Delta法則。

在實際應用中，只有一般化的Delta法則式(1—53)或式(1—54)才有意義。簡單Delta法則式(1—55)只在理論推導上有用。

三、BP算法的執行步驟

在反向傳播算法應用于前饋多層網絡時，采用Sigmoid為激發面數時，可用下列步驟對網絡的權系數W_ij進行遞歸求取。注意對于每層有n個神經元的時候，即有i＝1，2，…，n；j＝1，2，…，n。對于第k層的第i個神經元，則有n個權系數W_i1，W_i2，…，W_in，另外取多—個W_in+1用于表示閥值θ_i；并且在輸入樣本X時，取x＝(X₁，X₂，…，X_n，1)。

算法的執行的步驟如下：

1．對權系數W_ij置初值。

對各層的權系數W_ij置一個較小的非零隨機數，但其中W_i,n+1=-θ。

2．輸入一個樣本X＝(x_l，x₂，…，x_n，1)，以及對應期望輸出Y＝(Y₁，Y₂，…，Y_n)。

3．計算各層的輸出

對于第k層第i個神經元的輸出X_i^k，有：

X_i^k=f(U_i^k)

4．求各層的學習誤差d_i^k

對于輸出層有k＝m，有

d_i^m=X_i^m(1-X_i^m)(X_i^m-Y_i)

對于其他各層，有

5．修正權系數Wij和閥值θ
用式(1—53)時有：

用式(1—54)時有：

其中：

6．當求出了各層各個權系數之后，可按給定品質指標判別是否滿足要求。如果滿足要求，則算法結束；如果未滿足要求，則返回(3)執行。

這個學習過程，對于任一給定的樣本X_p＝(X_p1，X_p2，…X_pn，1)和期望輸出Y_p=(Y_p1，Y_p2，…，Y_pn)都要執行，直到滿足所有輸入輸出要求為止。

1.3 Hopfield模型

1982年，J．Hopfield提出了可用作聯想存儲器的互連網絡，這個網絡稱為Hopfield網絡模型，也稱Hopfield模型。Hopfield神經網絡模型是一種循環神經網絡，從輸出到輸入有反饋連接。Hopfield網絡有離散型和連續型兩種。

反饋神經網絡由于其輸出端有反饋到其輸入端；所以，Hopfield網絡在輸入的激勵下，會產生不斷的狀態變化。當有輸入之后，可以求取出Hopfield的輸出，這個輸出反饋到輸入從而產生新的輸出，這個反饋過程一直進行下去。如果Hopfield網絡是一個能收斂的穩定網絡，則這個反饋與迭代的計算過程所產生的變化越來越小，一旦到達了穩定平衡狀態；那么Hopfield網絡就會輸出一個穩定的恒值。對于一個Hopfield網絡來說，關鍵是在于確定它在穩定條件下的權系數。

應該指出：反饋網絡有穩定的，也有不穩定的。對于Hopfield網絡來說，還存在如何判別它是穩定網絡，亦或是不穩定的問題；而判別依據是什么，也是需要確定的。

1．3．1 離散Hopfield網絡

Hopfield最早提出的網絡是二值神經網絡，神經元的輸出只取1和0這兩個值，所以，也稱離散Hopfield神經網絡。在離散HopfieId網絡中，所采用的神經元是二值神經元；故而，所輸出的離散值1和0分別表示神經元處于激活和抑制狀態。

首先考慮由三個神經元組成的離散Hopfield神經網絡，其結構如圖1—13中所示。

在圖中，第0層僅僅是作為網絡的輸人，它不是實際神經元，所以無計算功能；而第一層是實際神經元，故而執行對輸人信息和權系數乘積求累加和，并由非線性函數f處理后產生輸出信息。f是一個簡單的閥值函效，如果神經元的輸出信息大于閥值θ，那么，神經元的輸出就取值為1；小于閥值θ，則神經元的輸出就取值為θ。

圖1-13? 三神經元組成的Hopfield網絡

對于二值神經元，它的計算公式如下

其中：x_i為外部輸入。并且有：

Y_i=1,當U_i≥θ_i時

Y_i=0,當U_i<θ_i時

對于一個離散的Hopfield網絡，其網絡狀態是輸出神經元信息的集合。對于一個輸出層是n個神經元的網絡，則其t時刻的狀態為一個n維向量：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

故而，網絡狀態有2ⁿ個狀態；因為Yj(t)(j＝1……n)可以取值為1或0；故n維向量Y(t)有2ⁿ種狀態，即是網絡狀態。

對于三個神經元的離散Hopfield網絡，它的輸出層就是三位二進制數；每一個三位二進制數就是一種網絡狀態，從而共有8個網絡狀態。這些網絡狀態如圖1—14中所示。在圖中，立方體的每一個頂角表示一種網絡狀態。同理，對于n個神經元的輸出層，它有2ⁿ個網絡狀態，也和一個n維超立方體的頂角相對應。

圖1-14?? 三神經元輸出層的網絡狀態

如果Hopfield網絡是一個穩定網絡，那么在網絡的輸入端加入一個輸入向量，則網絡的狀態會產生變化，也就是從超立方體的一個頂角轉移向另一個頂角，并且最終穩定于一個特定的頂角。

對于一個由n個神經元組成的離散Hopfield網絡，則有n*n權系數矩陣w：

W={W_ij} i=1,2,^...,n? j=1,2,^...,n

同時，有n維閥值向量θ：

θ=[θ₁,θ₂,^...θ_n]^T

一船而言，w和θ可以確定一個唯一的離散Hopfield網絡。對于圖1—13所示的三神經元組成的Hopfield網絡，也可以改用圖1—15所示的圖形表示，這兩個圖形的意義是一樣的。考慮離散Hopfield網絡的一船節點狀態；用Y_j(t)表示第j個神經元，即節點j在時刻t的狀態，則節點的下一個時刻(t+1)的狀態可以求出如下：

當W_ij在i＝j時等于0，則說明一個神經元的輸出并不會反饋到它自己的輸入；這時，離教的HopfieId網絡稱為無自反饋網絡。

當W_ij在i＝j時不等于0，則說明—個神經元的輸出會反饋到它自己的輸入；這時，離散的Hopfield網絡稱為有自反饋的網絡。

圖1-15 離散Hopfield網絡的另外一種圖示

1．串行(異步)方式

在時刻t時，只有某一個神經元j的狀態產生變化，而其它n-1個神經元的狀態不變這時稱串行工作方式。并且有

Y_i(t+1)=Y_j(t)? i≠j

在不考慮外部輸人時，則有

2．并行(同步)方式

在任一時刻t，所有的神經元的狀態都產生了變化；則稱并行工作方式。并且有

在不考慮外部輸入時，則有

??? j=1,2,^...,n

對于一個網絡來說，穩定性是一個重大的性能指標。

對于離散Hopfield網絡，其狀態為Y(t)：

Y(t)=[Y₁(t),Y₂(t),^...,Y_n(t)]^T

如果，對于任何△t>0．當神經網絡從t＝0開始，有初始狀態Y(0)；經過有限時刻t，有：

Y(t+△t)=Y(t)

則稱網絡是穩定的。

在串行方式下的穩定性稱之為串行穩定性。同理，在并行方式的穩定性稱之為并行穩定性。在神經網絡穩定時，其狀態稱穩定狀態。

從離散的Hopfield網絡可以看出：它是一種多輸入，含有閥值的二值非線性動力系統。在動力系統中，平衡穩定狀態可以理解為系統的某種形式的能量函數在系統運動過程中，其能量值不斷減小，最后處于最小值。

對Hopfield網絡引入一個Lyapunov函數，即所謂能量函數：

即有：

離散Hopfield網絡有二種不同的工作方式：

	(1-46)
對于神經元j，其能量函數可表示為
	(1-47)

也即是有

神經元j的能量變化量表示為△E_j：

(1-48)

圖1-19? 協作——競爭網絡交互模型

圖1-22? 2/3規則

二、ART模型的基本工作原理

在ART模型中，顯然分為F1，F2兩層神經網絡。對于注意子系統，F1和F2這兩層的作用可以用圖1—23表示。

圖1-23?? F1和F2層的信息處理

Fl層接收輸人模式I，則在F1中被轉換成激活模式X，X由F1中的激活神經元表示，如圖1—23中的長方形所示。這個模式x被短期存儲在F1中。只有激活值足夠高的神經元才能產生輸出信號并通過連接傳送到F2的神經元去。

在F1中，由x所產生的F1輸出模式為S，S模式通過連接送到F2的神經元輸入端。并在F2的神經元的輸入端土產生一個和s不同的模式T。從s到T的轉換稱為自適應濾波。無論F1還是P2，其神經元是一般形式的神經元結構。一般而言，這些神經元的狀態．輸入和輸出并不相同。

在F2層中．模式T經過F2神經元的相互作用會迅速地被轉換。這個相互作用是對輸入模式T的比較及除弱增強過程。其結果產生一個短期存儲在F2中的模式Y，這也是F2的狀態。

在一般情況時，從T到Y這個比較，除弱增強的轉換會使多個神經元處于激活狀態。這時，這種轉換結果變由F2中的多個神經元群來表達。這個轉換過程自動地把F1的輸入模式I劃分到不相交的各個識別聚類中去，每個類對應于F2中的某個特征神經元。在特殊情況時，從T到Y的比較、除弱增強過程就是在F2中選擇一個與當前輸入I相對應的而輸出值最大的神經元的過程。所選擇的神經元就是用于表示激活模式的唯一神經為了說明ART模型的有關工作基本原理，下面分五點進行介紹：

1．自下而上的自適應濾波和STM中的對比度增強過程。

輸入信號I加到注意子系統的F1的輸入端，經過F1的節點變換成激活模式X，這一過程起到特征檢出作用。
在F1中，激活值較高的神經元就會有輸出到F2的信號，并成為輸出模式s．s經過F1到F2的連接通道時受到加權組合(LTM)，變換成模式T后作用于F2的輸入端。S到T的變換稱為自適應濾波。F2接收到T后通過神經元間的相互作用迅速產生對比度增強了的激活模式Y，并且存儲于F2中。如圖1—24(a)所示。

這個階段的學習是一個變換系列：I—X—S—T—Y

2．自上而下的學習期望匹配和對已學習編碼的穩定。

一旦當自下而上的變換X—Y完成之后．Y就會產生自上而下的輸出信號的模式u，并送向F1，只有激活值足夠大的才會向反饋通道送出信號u。 u經加權組合變換成模式v。v稱為自上而下的模板，或學習期望。

由于x和V這兩個模式對F1輸入，則它們的共同作用在F1中產生激活模式X^*；—般而言，x*和只由輸入信號產生的x模式不同。這時，F1的作用就是試圖使v和I匹配，其匹配結果確定了以后的作用過程。
這時的情況如圖1—24(b)所示。

3．注意子系統和取向子系統相互作用過程。

這個過程和輸入I有關。在圖1—24(a)中，在輸入模式I產生x的同時，也會激活取向子系統A；只是在A產生輸出之前，F1中的x對A所產生的輸出端就起禁止作用。當F2的反饋模式v與P1的輸入模式[失配時，就會大大減弱這一禁止作用，當減弱到一定的程度時，A就被激活。如圖1—24(c)所示。

A被激活之后就向F2送出重置信號．并作用于F2的全部神經元，從而改變F2的狀態．取消了原來的自上而下的學習期望V；終止了V和I的失配；于是輸入I再次作用直到F2產生新的狀態Y*。如圖1—24(d)所示。

Y*會產生新的自上而下的學習期望v*，如果v*仍然和I失配，那么，取向子系統A繼續起作用；這樣．產生一個快速的一系列匹配與重置過程。這個過程控制LTM的搜索從調整了LW對外界環境的編碼。這個過程一直執行下去，直到F2送出的模式v和輸人I相互匹配為止。

圖1-24? ART模型的工作過程

4．需考慮的一些特點

在注意子系統的增益控制及起動這一自上而下的學習期望匹配過程中，還應考慮一些有關特點。

例如在F1輸出向下而上的作用之前，F2已被激活，這時F2就會產生自上而下的學習期望并作用于Fl；這時則F1也會被激活，并產生自下而上的作用過程。顯然，需要對來自外部輸入的激活以及來自F2的反饋激活進行區分。所以，設置一個輔助機構進行區分激活來源的工作。這個輔助機構稱為注意增益控制。

為F2被激活時，注意起動機構會向F1選出學習期望信號，注意增益控制就會給出禁止作用，從而影響Fl對輸入響應靈敏度，使得F1可以區分激活信號的來源。

5.匹配

采用2/3規則，以確定F1的輸出。這實際上是把存儲模式和輸入模式進行匹配的規則。

三、ART模型的工作過程

在圖1—21所示的ART結構中，F1可稱為比較層，F2可稱為識別層。

比較層F1接收輸入模式I，初始時不作任何變動作為輸出向量S送去識別層F2；此后，F1同時接受識別層輸出的向量v和輸人模式I，還有增益控制的輸出，并按2／3規則產生輸出。在初始時，增益控制的輸出為I，而v設置為o，故有S等于輸入I。

識別層F2是用作輸入向量分類器的。在識別層中，只有一個神經元和輸入的向量s最優匹配，這個神經元就會被激活，而其它神經元則被抑制。根據神經元的結構原理，最優匹配規則如下：

其中： S是輸入F2的向量；s=(sl，s2，…，Sn)；

w3是識別層中第j個神經元和比較層中神經元從F1一F2的權系數向量wj=(W1j，W2j......)，

wc是識別層中最優匹配神經元c從FI—F2的權系數向量Wc＝(W1c，W2c……)。

應該注意：最優匹配神經元c到比較層神經元有從F2一FI的權系數向量Wc’，Wr’＝(Wc1,Wc2……)很明顯，Wc和Wc’就組成了輸入向量的類別樣本；也即是權系數的形態表示一類模式。

在識別層中，為了使一個神經元有最大輸出值并取得競爭的優勝，并抑制其它神經元。故而識別層有橫向連接，每個神經元的輸出和正的權系數相乘后作本神經元的一個輸入，而其它神經元的輸出和負權系數相乘后再作為本神經元的輸入。這種作用等于加強自身，抑制其它。從而保證了只有一個神經元被激活。這種情況如圖1—25所示。

圖1-25 F2層的橫向連接

增益控制有兩部分，它們的作用功能不同。識別層F2的增益控制輸出原則為：只要輸入向量I有一個元素為1，則輸出1。比較層F1的增益控制原則為：只要在I有一個元素為1，同時F2的輸出向量U全部元素為0時，才輸出1。

重置作用是在輸入信號I和F1的輸出s之間的匹配存在問題，差別大于某警戒值時．則發清零信號到F2。以便重新進行識別。

ART網絡的學習分類分為三部，即識別，比較和搜索。下面作簡要說明。

1．識別

初始化時，網絡無輸人信號，故I全部元素為0；識別層F2增益控制輸出為0；識別層F2輸出全部為0。在有模式I輸入后，I必有元素為1，故F1增益控制、F2增益控制均輸出1；比較層F1按2/3規則全部復制I作為輸出；S＝(s₁，s₂，…，S_n)。接著識別層F2的每個神經元j執行下面操作；從而求出最優匹配神經元C：

則神經元C輸出1，其余輸出U。這些輸出送回比較層F1。F2輸出的值為U＝(U1，U2……)。找尋最優匹配神經元C的過程就是識別。

2．比較

從識別層F2反饋到Fl的向量U不再全部為0，故而，F1增益控制輸出0。按2/3規則，只有輸人向量I及反饋向量U的元素同時為1所激勵的神經元才會被激活。從另一個角度講．就是來自F2的反饋強迫輸入向量I中那些不匹配存儲模式u的S元素為0。

如果I與U不匹配，則產生的S只有少數元素為1，這也說明模式U不是所要尋找的I模式。取向子系統對I和s的相符程度進行判別，如果低于結定的警戒值，則發出重置信號，使識別層F2激活的神經元清零；這也說明該神經元失去競爭的資格。則到此這個階段分類比較過程結束。如果I與U匹配，則輸入模式I所屬的類別已找到，分類結束。

3．搜索

在I與U不匹配時，為了找到較好的匹配必須對其余的模式進行搜索。重置信號把識別層F₂的神經元全部清0，則F₁增益控制又輸出1，網絡返回到初始狀態。輸入模式I再進行輸入，識別層的另一個神經元會取得優勝，則反饋一個新的存儲模式U送回比較層F₁。接著又進行匹配比較，如不匹配，則又重置識別層……不斷執行下去。

搜索過程直到產生下列情況之一才會停止：

(1)找到一個存儲模式，在警戒值范圍內和輸入模式I匹配；則ART網絡進入學習階段。修正和匹配神經元C相關的權系數W_ic和W_ci。

(2)搜索了全部模式后，沒有一個模式能夠和I相似匹配；則網絡也進人學習階段。把原來來分配模式的神經元j賦于輸人模式I，構造相應的權系數W_ij和W_ji，并作為樣本模式存儲。

特別應指出的是：搜索過程是包含了識別和比較二個階段的。搜索不過是識別—比較—識別—比較……的多次重復。

嚴格來說，ART應分成搜索和學習這兩種最主要的過程和功能。

1．4．3ART模型的數學描述

在ART模型中，F₁或F₂中的神經元用N_k表示，神經元被激活后產生的激活值用X_k表示，從神經生理學的研究結果，可以知道神經元的激活值，即神經元未經s函數處理的輸出X_k滿足下面的微分方程：

(1-60)

其中：e是遠小于1的正實數；

J_k⁺是送到神經元Nk的所有激勵輸入之和

J_k^-是送到神經元Nh的所有抑制輸入之和

A，B，C是非負常數；

X_k的取值范圍為[-BC^-1，A^-1]

一、F₁層的數學描述

用N_i表示F₁的神經元，并且i=1，2，…，n，

則有

(1-61)

很明顯，有F₁的激活模式X

X={X₁,X₂,...X_n}

1.J_i⁺的形式

由于F₁神經元N_t的激勵輸入J_i⁺是自下而上的輸入I_i以及自上而下的輸入v_i之和，故而有

J_i⁺=I_i+V_i

其中Ii是一個n維輸入向量；I={I₁,I₂,…I_n}；

；這里，f(X_j)是F₂中神經元N_i的輸出，W_ji是N_j到N_i的連接權系數；

D1是系數。

v＝{v₁，v₂，…，v_n}，也是n維間量。

2.J_i^-的形式

對F1層，抑制輸入Ji-是由注意子系統增益控制信號來控制，即

j=n+1,n+2,...,n+m

當且僅當F2的激活值很高時，J_i^-＝0，否則J_i^->0。

二、F₂層的數學描述

用N_j表示F₂的神經元．并且j＝n+1，n+2，…，n+m，則有：

(1-62)

則有F₂的激活模式Y

Y={X_n+1,X_n+2,...X_n+m}

選擇F₂中的激活模式的輸入和參數，使到F₂中具有來自F₁的最大輸入的神經元取得競爭的勝利。故而對J_j⁺和J_j^-考慮應有如下形式：

1.J_j⁺的形式

Jj+=g(Xj)+Tj

其中：g(x_j)為N_j的自反饋信號；
T_j是從F₁來的到F₂的輸入模式；，這里的h(x_i)是F中神經元N_i的輸出，D₂是系數；

W_ij是F₁到F₂的神經元的連接權系數。

2.J_j^-的形式

對應于圖1—24中的情況，可以看出向量S，T，U，V的關系，并且有

S={h(X₁),h(X₂),...,h(X_n)}

T={T_n+1,T_n+2,...,T_n+m}

U={f(X_n+1),f(X_n+2),...,h(X_n+m)}

V={V₁,V₂,...,V_n}

并且有?? I={I₁,I₂,...,I_n}

(1-49)

其中：E_j為神經元j的能量；

△E_j為神經元j的能量變化；

W_ij為神經元i到神經元j的權系數：

Y_i為神經元j的輸出；

X_j為神經元j的外部輸入；

θ_j為神經元j的閥值；

△Y_j為神經元j的輸出變化。

如果，令

U_j=ΣW_ijY_i+X_j

則△E_j可表示為：

考慮如下兩種情況：

1．如果U_j≥θ_j，即神經元j的輸入結果的值大于閥值，則U_j-θ_j≥0，則從二值神經元的計算公式知道：Y_j的值保持為1，或者從0變到1。這說明Y_j的變化△Y_j只能是0或正值。這時很明顯有△E_j：

△E_j≤0

這說明Hopfield網絡神經元的能量減少或不變。

2．如果U_j≤θ_j，即神經元j的輸入結果的值小于閥值，則U_j-θ_j≥0，則從二值神經元的計算公式可知：Y_j的值保持為0，或者從1變到0。這說明Y_j的變化△Y_j只能是零或負位。這時則有△E_j：

△E_j≤0

這也說明Hopfield網絡神經元的能量減少。

上面兩點說明了Hopfield網絡在權系數矩陣W的對角線元素為0，而且W矩陣元素對稱時，Hopfield網絡是穩定的。

Coben和Grossberg在1983年給出了關于Hopfield網絡穩定的充分條件，他們指出：

如果Hopfield網絡的權系數矩陣w是一個對稱矩陣，并且，對角線元素為0．則這個網絡是穩定的。即是說在權系數矩陣W中，如果

i=j時，W_ij=0

i≠j時，W_ij=W_ji

則Hopfield網絡是穩定的。

應該指出：這只是Hopfield網絡穩定的充分條件．而不是必要條件。在實際中有很多穩定的Hopfield網絡，但是它們并不滿足權系數矩陣w是對稱矩陣這一條件。

上面的分析可知：

無自反饋的權系數對稱Hopfield網絡是穩定的網絡。它如圖1—16，圖1—17所示。

圖1-16? 對角線權系數為0的對稱Hopfield網絡

圖1-17? 對角線權系數為0的對稱網另一圖示

Hopfield網絡的一個功能是可用于聯想記憶，也即是聯想存儲器。這是人類的智能特點之一。人類的所謂“觸景生情”就是見到一些類同過去接觸的景物，容易產生對過去情景的回昧和思憶。對于Hopfield網絡，用它作聯想記憶時，首先通過一個學習訓練過程確定網絡中的權系數，使所記憶的信息在網絡的n維超立方體的某一個頂角的能量最小。當網絡的權系數確定之后，只要向網絡給出輸入向量，這個向量可能是局部數據．即不完全或部分不正確的數據，但是網絡仍然產生所記憶的信息的完整輸出。1984年Hopfield開發了一種用n維Hopfield網絡作聯想存儲器的結構。在這個網絡中，權系數的賦值規則為存儲向量的外積存儲規則(out product storage prescription)，其原理如下：

設有m個樣本存儲向量x₁，x₂，…，x_m

X_1={X_11,X_21,..._,X_m1}

X_2={X_12,X_22,...,X_m2}

_......

X_m={X_m1,X_m2,...,X_mm}

把這m個樣本向量存儲人Hopfield網絡中，則在網絡中第i，j兩個節點之間權系數的值為：

其中：k為樣本向量X_k的下標，k＝1，2，…m；

i，j分別是樣本向量X_k的第i，j分量X_i，X_j的下標；i，j＝1，2，…n。

對聯想存儲器的聯想檢索過程如下：

給定一個向量X。進行聯想檢索求取在網絡中的存儲內容。這時，把向量

X={X₁,X₂,...X_n}

的各個分量x₁，x₂，…，x_n賦于相對應的節點j，(j＝1，2，…，n)，則節點有相應的初始狀態Y_j(0)，則有

Y_j(0)=X_j，j＝1，2，…，n

接著，在Hopfield網絡中按動力學系統原則進行計算，得

Y_j(t+1)=f[ΣW_ijY_j(0)-θ_j]? , i,j＝1，2，…，n

其中，f[·]是非線性函數，可取階躍函數。

通過狀態不斷變化，最后狀態會穩定下來．最終的狀態是和給定向量x最接近的樣本向量。所以，Hopfield網絡的最終輸出也就是給定向量聯想檢索結果。這個過程說明，即使給定向量并不完全或部分不正確，也能找到正確的結果。在本質上，它也有濾波功能。

1．3．2連續Hopfield網絡

連續Hopfield網絡的拓樸結構和離散Hopfield網絡的結構相同。這種拓樸結構和生物的神經系統中大量存在的神經反饋回路是相一致的。在連續Hopfield網絡中，和離散Hopfield網絡一樣，其穩定條件也要求W_ij=W_ji。
連續Hopfield網絡和離散Hopfield網絡不同的地方在于其函數g不是階躍函數，而是S形的連續函數。一般取

g(u)=1/(1+e^-u)??????? (1-50)

連續Hopfield網絡在時間上是連續的．所以，網絡中各神經元是處于同步方式工作的。考慮對于一個神經細胞，即神經元j，其內部膜電位狀態用u_j表示．細胞膜輸入電容為C_j，細胞膜的傳遞電阻為R_j，輸出電壓為V_j，外部輸入電流用I_j表示，則連續Hopfield網絡可用圖1—18所示的電路表示。

(1-51)

其中：n是神經網絡神經元的個數

v_j(t)為輸出電位；

U_j(t)為輸入電位。

圖1-18? 連續Hopfield網絡的電路形式

對于連續Hopfield網絡，Hopfield給出如下穩定性定理：

給出能量函數E(t)

(1-52)

其中：g^-1(v)是V_j(t)＝g_j(u_j(t))的反函數。

如果連續Hopfield網絡中神經元傳遞函數是單調增長的連續并有界函數，并且W_ij＝W_ji，則有

當并且僅當

時，有

這個定理的意義可以解釋如下：當網絡神經元的傳遞函數是S函數，并且網絡權系數矩陣對稱；則隨時間的變化網絡的能量會下降或不變；而且僅當輸出電位隨時間變化不變時．網絡的能量才會不變。換而言之，在上述條件下的網絡是能量不變或下降的。

這個定理的證明過程如下：

對能量函數E(t)求時間的導數dE(t)／dt，則有

(1-53)

如果存在Wij＝Wji，則上式可寫為

	(1-54)
從連續Hopfield網絡的動態方程，有	(1-54)
	(1-55)
故上面(1—54)式可寫成
	(1-56)
由于? V_j(t)=g_j(U_j(t))	(1-57)
故而有? U_j(t)=g_j^-1(V_j(t))	(1-58)
從而有
	(1-59)
從?? g(u)=1/(1+exp(-u))	(1-60)

可知其反函數為單調升函數。因而對于dE(t)／dt中的g_j^-1(v_j(t))，必有單調升的特點．則其導數必定大于0，即

[g_j^-1(v_j(t))]'>0

同時容易知道

C_j>0

很明顯，在dE(t)／dt時，必定有

而且當，僅當

有

至此，則定理證明完畢。

這個定理說明Hopfield網絡的能量函數E(t)是單調下降的；如果E(t)有下界，即有確定的極小值；那么網絡必定是穩定的。而且，可以知道穩定點對應于能量函數的下界，即極小值。

下一步工作，只需證明能量函數有下界，那么．就可以證明網絡是穩定的。

可以證明，如果Hopfield網絡的傳遞函數g是連續而且有界的，那么，能量函數E(t)是有界的。

最后，有如下結論：

當Hopfield網絡的神經元傳遞函數g是連續且有界的，例如Sigmoid函數，并且網絡的權系數矩陣對稱，則這個連續Hopfield網絡是穩定的。在實際應用中，任何一個系統，如果其優化問題可以用能量函數E(t)作為目標函數，那么，總可以用連續Hopfield網絡對其進行求解。由于引入能量函數E(t)，Hopfield使神經網絡和問題優化直接對應；這種工作是具開拓性的。利用神經網絡進行優化計算，就是在神經網絡這一動力系統給出初始的估計點，即初始條件；然后隨網絡的運動傳遞而找到相應極小點。這樣，大量的優化問題都可以用連續的Hopfield網來求解。這也是Hopfield網絡用于神經計算的基本原因。

轉載于:https://www.cnblogs.com/penglink/archive/2009/04/10/1433100.html

總結

以上是生活随笔為你收集整理的【z】数字神经网络系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【平差软件学习---科傻】四、科傻二等水
下一篇： cer pem 证书转换_证书cer格式