神經網絡是由大量處理單元（神經元）互相連接而成的網絡，實際上ANN并不完全模擬了生物的神經系統，而是一種抽象、簡化和模擬。神經網絡的信息處理通過神經元的相互作用來實現，知識與信息的存貯表現在網絡元件互連的分布式結構與聯系，神經網絡的學習和識別各神經元連接權系數的動態演化過程。實踐中常用的基本神經網絡模型有：感知器神經網絡、線性神經網絡、BP神經網絡、徑向基神經網絡、自組織神經網絡、反饋網絡等。
1、感知器神經網絡：
?是一個具有單層計算神經元的神經網絡，網絡的傳遞函數是線性閾值單元。原始的感知器神經網絡只有一個神經元。主要用來模擬人腦的感知特征，由于采取閾值單元作為傳遞函數，所以只能輸出兩個值，適合簡單的模式分類問題。當感知器用于兩類模式分類時，相當于在高維樣本空間用一個超平面將兩類樣本分開，但是單層感知器只能處理線性問題，對于非線性或者線性不可分問題無能為力。假設p是輸入向量，w是權值矩陣向量，b為閾值向量，由于其傳遞函數是閾值單元，也就是所謂的硬限幅函數，那么感知器的決策邊界就是wp+b，當wp+b>=0時，判定類別1，否則判定為類別2。
——感知器網絡的學習規則：假設p為輸入向量，e為學習誤差，t為目標向量，則學習的基本原理描述如下：
權值增量——^W=(t-a)p'=ep'；閾值增量——^b=(t-a)(1)=e；權值更新——W(n+1)=W(n)+^W；閾值更新——b(n+1)=b(n)+^b；
由學習規則可以發現，學習規則嚴重的受到輸入向量p的大小變化影響。當輸入向量的樣本數據包含奇異點時，往往會導致感知器神經網絡的學習訓練時間加長，為了消除訓練時間對于奇異樣本的敏感性，工程上常采用歸一化的感知器算法。即^W=(t-a)p'/||p||。
——感知器模型簡單易于實現，缺點是僅能解決線性可分問題。解決線性不可分問題途徑：一是采用多層感知器模型，二是選擇功能更加強大的神經網絡模型。
2、線性神經網絡：
——線性神經網絡是比較簡單的一種神經網絡，由一個或者多個線性神經元構成。采用線性函數作為傳遞函數，所以輸出可以是任意值。線性神經網絡可以采用基于最小二乘LMS的Widrow－Hoff學習規則調節網絡的權值和閾值，和感知器一樣，線性神經網絡只能處理反應輸入輸出樣本向量空間的線性映射關系，也只能處理線性可分問題。目前線性神經網絡在函數擬合、信號濾波、預測、控制等方面有廣泛的應用。線性神經網絡和感知器網絡不同，它的傳遞函數是線性函數，輸入和輸出之間是簡單的純比例關系，而且神經元的個數可以是多個。只有一個神經元的線性神經網絡僅僅在傳遞函數上和感知器不同，前者是線性函數的傳遞函數，后者是閾值單元的傳遞函數，僅此而已。
——線性神經網絡的學習規則：
W(k+1)=W(k)+yita(t(k)-p(k))p(k)'=W(k)+yita*e(k)*p(k)';
b(K+1)=b(k)+yita*e(k);yita是學習速率，yita比較大的時候，學習速率加快，但是有可能使得網絡的學習進程變得不穩定，反之亦然。
——線性神經網絡的局限性：線性神經網絡只能反應輸入和輸出樣本向量空間的線性映射關系。由于線性神經網絡的誤差曲面是一個多維拋物面，所以在學習速率足夠小的情況下，對于基于最小二乘梯度下降原理進行訓練的神經網絡總是可以找到一個最優解。盡管如此，對線性神經網絡的訓練并不能一定總能達到零誤差。線性神經網絡的訓練性能要受到網絡規模、訓練集大小的限制。若神經網絡的自由度（所有權值和閾值的總個數）小于樣本空間中輸入－輸出向量的個數，而且各樣本向量線性無關，則網絡不可能達到零誤差，只能得到一個使得網絡的誤差最小的解。反之，如果網絡的自由度大于樣本集的個數，則會得到無窮多個可以使得網絡誤差為零的解。
3、BP神經網絡：
——BP神經網絡通常指的是基于誤差反向傳播算法的多層前向神經網絡。是目前應用最為廣泛的神經網絡模型的學習算法。BP神經網絡的神經元采用的傳遞函數一般是sigmoid型的可微函數，所以可以實現輸入輸出之間的任意非線性映射，這一特點使得BP神經網絡在函數逼近、模式識別、數據壓縮等領域有著更為廣泛的應用，事實上，目前實際應用的90％的神經網絡系統都是基于BP算法的。
——與其他神經元模型不同的是，BP神經元模型的傳遞函數采取了可微單調遞增函數，如sigmoid的logsig、tansig函數和線性函數pureline。BP網絡的最后一層神經元的特性決定了整個網絡的輸出特性。當最后一層神經元采用sigmoid類型的函數時，那么整個神經元的輸出都會被限制在一個較小的范圍內，如果最后一層的神經元采用pureline型函數，則整個網絡的輸出可以是任意值。BP網絡采用的就是基于BP神經元的多層前向結構。BP網絡一般具有一個或者多個隱層，隱層神經元一般采用sigmoid型的傳遞函數，而輸出層一般采用pureline型的傳遞函數。理論已經證明，當隱層神經元數目足夠多時，可以以任意精度逼近任何一個具有有限個斷點的非線性函數。
——BP網絡的學習規則：采用誤差反向傳播算法，實際上是Widrow－Hoff算法在多層前向神經網絡中的推廣。和Widrow－Hoff算法類似，BP算法中，網絡的權值和閾值通常是沿著網絡誤差變化的負梯度方向進行調節，最終使得網絡的誤差達到極小值或者最小值，也就是說，在這一刻，誤差梯度是0。由于梯度下降算法的固有缺陷，標準的BP算法收斂速度慢，容易陷入局部最小值，所以后來又有許多的改進算法：動量因子學習算法、變速率學習算法、彈性學習算法、共扼梯度學習算法等等。對于不同的具體問題，選擇學習算法對網絡進行訓練時，不僅要考慮算法本身大額性能，還要考慮問題的復雜度、樣本集的大小、網絡規模、網絡誤差目標以及要解決問題的類型。如果待解決的問題屬于模式分類，常用的彈性學習算法（收斂快，占用存貯空間小）、共扼梯度法（收斂快，性能穩定，占用存貯空間一般，尤其適合較大規模的網絡）。
——BP網絡的局限性：BP網絡客服了感知器、線性神經網絡的局限性，可以實現任意線性或者非線性的函數映射，然而在實際的設計過程中往往需要反復試湊隱層神經元的個數，分析隱層神經元的作用機理，不斷進行訓練才可能得到比較滿意的結果，這一點現在是BP網絡研究的一個難點。
4、徑向基函數網絡：
——徑向基函數RBF網絡是以函數逼近理論為基礎構造的一類前向網絡，這類網絡的學習等價于在多維空間尋找訓練數據的最佳擬合平面。徑向基函數網絡的每一個隱層都構成擬合平面的一個基函數，網絡也因此得名。徑向基函數網絡是一個局部逼近網絡，也就是說，對于輸入空間的某一個局部區域只存在少數的神經元用于決定網絡的輸出。前面講的的BP網絡是典型的全局逼近網絡，即對于每一個輸入輸出數據對，網絡所有的參數都要調整。由于兩者的構造本質不同，徑向基函數網絡與BP網絡相比規模一般比較大，但是徑向基網絡的學習速度比較快，網絡的函數逼近能力、模式識別能力以及分類能力都大大優于BP網絡。徑向基函數網絡一般以廣義回歸網絡、概率神經網絡應用比較多。
——徑向基函數網絡的神經元模型：前面的3種神經元模型中輸入向量的每一個分量分別和每一個神經元以對應的連接權乘積的累加作為傳遞函數的輸入，而在徑向基函數神經元模型中，多了一個||dist||，表示輸入向量和權重向量的距離，模型采用高斯函數作為神經網絡的傳遞函數，傳遞函數的輸入是輸入向量p和權重向量w的距離乘以閾值b，傳遞函數的一般表達式：f(x)=exp(-x*x).中心與寬度是徑向基函數神經元的兩個重要參數。神經元的權重向量w確定了徑向基函數的中心，當輸入向量p和w重合時，徑向基神經元的輸出達到最大值1，當輸入向量和w的距離比較遠時，神經元的輸出就比較小。神經元的閾值b確定了徑向基函數的寬度，b越大，輸入向量在遠距w時的函數衰減幅度就越大。
——徑向基函數網絡結構：典型的徑向基函數網絡包括兩層，即隱層和輸出層。需要設計的是隱層神經元的個數以及輸出神經元的個數。假如輸入是R維向量，有S1個隱層神經元，有S2個輸出單元，則徑向基層的網絡權重向量矩陣為S1×R，p為R×1維向量，徑向基層閾值b為S1×1維向量，輸入向量和徑向基層的權重向量的距離||dist||為S1×1，經過傳遞函數處理后為S1×1維的輸出向量，由于有S2個輸出單元，所以輸出層的神經元個數是S2個，權重向量矩陣維S2×S1維，輸出層的閾值是S2×1維向量，輸出層一般采用線性函數作為傳遞函數，以便輸出可以為任意值。
——廣義回歸網絡GRNN結構：與徑向基函數網絡的結構類似，該網絡的顯著特點就是網絡的隱層和輸出層的神經元個數都和輸入樣本向量的個數相同，其輸出層是特殊的線性層，即隱層的輸出向量和輸出權值向量進行規則化內積，也就是說，對于內積所得的向量中的每一個元素分別除以隱層輸出向量中的各個元素的總和，從這一點來說，GRNN實際上就是一種規則化的徑向基函數網絡，常用于函數逼近問題。當隱層神經元足夠多的時候，該網絡能夠以任意精度逼近一個平滑函數，缺點是當輸入樣本很多的時候，網絡十分龐大，計算復雜，不適合用于訓練樣本過多的情況。
——概率神經網絡結構：是徑向基神經網絡的另外一種重要變形。該網絡的隱層神經元的個數與輸入樣本向量的個數相同，輸出層神經元的個數等于訓練樣本數據的種類個數。該網絡的輸出層屬于競爭層，輸出層的每一個神經元對應一個數據類別，輸出層的傳遞函數的功能就是找出輸入向量中各個元素的最大值，并且使得與最大值對應的類別的神經元的輸出為1，其他的輸出為0。這種網絡的分類效果能夠達到最大的正確概率。概率神經網絡經常用來解決分類問題。當樣本數據足夠多的時候，概率神經網絡收斂于一個貝葉斯分類器，而且推廣性能良好。缺點就是當輸入樣本龐大的時候，網絡復雜，計算速度比較慢。
5、自組織網絡：
——在生物神經細胞中存在一種特征敏感細胞，這種細胞只對外界信號刺激的某一特征敏感，并且這種特征是通過自學習形成的。在人腦的腦皮層中，對于外界信號刺激的感知和處理是分區進行的，有學者認為，腦皮層通過鄰近神經細胞的相互競爭學習，自適應的發展稱為對不同性質的信號敏感的區域。根據這一特征現象，芬蘭學者Kohonen提出了自組織特征映射神經網絡模型。他認為一個神經網絡在接受外界輸入模式時，會自適應的對輸入信號的特征進行學習，進而自組織成不同的區域，并且在各個區域對輸入模式具有不同的響應特征。在輸出空間中，這些神經元將形成一張映射圖，映射圖中功能相同的神經元靠的比較近，功能不同的神經元分的比較開，自組織特征映射網絡也是因此得名。
——自組織映射過程是通過競爭學習完成的。所謂競爭學習是指同一層神經元之間相互競爭，競爭勝利的神經元修改與其連接的連接權值的過程。競爭學習是一種無監督學習方法，在學習過程中，只需要向網絡提供一些學習樣本，而無需提供理想的目標輸出，網絡根據輸入樣本的特性進行自組織映射，從而對樣本進行自動排序和分類。
——競爭學習網絡的結構：假設網絡輸入為R維，輸出為S個，典型的競爭學習網絡由隱層和競爭層組成，與徑向基函數網絡的神經網絡模型相比，不同的就是競爭傳遞函數的輸入是輸入向量p與神經元權值向量w之間的距離取負以后和閾值向量b的和，即ni=-||wi-p||+bi。網絡的輸出由競爭層各神經元的輸出組成，除了在競爭中獲勝的神經元以外，其余的神經元的輸出都是0，競爭傳遞函數輸入向量中最大元素對應的神經元是競爭的獲勝者，其輸出固定是1。
——競爭學習網絡的訓練：競爭學習網絡依據Kohonen學習規則和閾值學習規則進行訓練，競爭網絡每進行一步學習，權值向量與當前輸入向量最為接近的神經元將在競爭中獲勝，網絡依據Kohonen準則對這個神經元的權值進行調整。假設競爭層中第i個神經元獲勝，其權值向量Wi將修改為：Wi(k)=Wi(k-1)-alpha*(p(k)-Wi(k-1))。按照這一規則，修改后的神經元權值向量將更加接近當前的輸入。經過這樣調整以后，當下一此網絡輸入類似的向量時，這一神經元就很有可能在競爭中獲勝，如果輸入向量與該神經元的權值向量相差很大，則該神經元極有可能落敗。隨著訓練的進行，網絡中的每一個節點將代表一類近似的向量，當接受某一類向量的輸入時，對應類別的神經元將在競爭中獲勝，從而網絡就具備了分類功能。
——自組織特征映射網絡：
自組織特征映射網絡SOFM的構造時基于人類大腦皮質層的模仿。在人腦的腦皮層中，對外界信號刺激的感知和處理是分區進行的，因此自組織特征映射網絡不僅僅要對不同的信號產生不同的響應，即與競爭學習網絡一樣具有分類功能。而且還要實現功能相同的神經元在空間分布上的聚集。因此自組織特征映射網絡在訓練時除了要對獲勝的神經元的權值進行調整之外，還要對獲勝神經元鄰域內所有的神經元進行權值修正，從而使得相近的神經元具有相同的功能。自組織特征映射網絡的結構域競爭學習網絡的結構完全相同，只是學習算法有所區別而已。
穩定時，每一鄰域的所有節點對某種輸入具有類似的輸出，并且這聚類的概率分布與輸入模式的概率分布相接近。

——學習向量量化網絡：學習向量量化網絡由一個競爭層和一個線性層組成，競爭層的作用仍然是分類，但是競爭層首先將輸入向量劃分為比較精細的子類別，然后在線性層將競爭層的分類結果進行合并，從而形成符合用戶定義的目標分類模式，因此線性層的神經元個數肯定比競爭層的神經元的個數要少。
——學習向量量化網絡的訓練：學習向量量化網絡在建立的時候，競爭層和線性層之間的連接權重矩陣就已經確定了。如果競爭層的某一神經元對應的向量子類別屬于線性層的某個神經元所對應的類別，則這兩個神經元之間的連接權值＝1，否則2者之間的連接權值為0，這樣的權值矩陣就實現了子類別到目標類別的合并。根據這一原則，競爭層和線性層之間的連接權重矩陣的每一列除了一個元素為1之外，其余元素都是0。1在該列中的位置表示了競爭層所確定的子類別屬于哪一種目標類別（列中的每一個位置分別表示一種目標類別）。在建立網絡時，每一類數據占數據總數的百分比是已知的，這個比例恰恰就是競爭層神經元歸并到線性層各個輸出時所依據的比例。由于競爭層和線性層之間的連接權重矩陣是事先確定的，所以在網絡訓練的時候只需要調整競爭層的權值矩陣。
6、反饋網絡：
前面介紹的網絡都是前向網絡，實際應用中還有另外一種網絡——反饋網絡。在反饋網絡中，信息在前向傳遞的同時還要進行反向傳遞，這種信息的反饋可以發生在不同網絡層的神經元之間，也可以只局限于某一層神經元上。由于反饋網絡屬于動態網絡，只有滿足了穩定條件，網絡才能在工作了一段時間之后達到穩定狀態。反饋網絡的典型代表是Elman網絡和Hopfield網絡，Elman網絡主要用于信號檢測和預測方面，Hopfield網絡主要用于聯想記憶、聚類以及優化計算等方面。
——Elman網絡由若干個隱層和輸出層構成，并且在隱層存在反饋環節，隱層神經元采用正切sigmoid型函數作為傳遞函數，輸出層神經元傳遞函數為純線性函數，當隱層神經元足夠多的時候，Elman網絡可以保證網絡以任意精度逼近任意非線性函數。
——Hopfield網絡主要用于聯想記憶和優化計算。聯想記憶是指當網絡輸入某一個向量之后，網絡經過反饋演化，從網絡的輸出端得到另外一個向量，這樣輸出向量稱為網絡從初始輸入向量聯想得到的一個穩定的記憶，也就是網絡的一個平衡點。優化計算是指某一問題存在多個解法的時候，可以設計一個目標函數，然后尋求滿足折椅目標的最優解法。例如在很多情況下可以把能量函數看作是目標函數，得到最優解法需要使得能量函數達到極小值，也就是所謂的能量函數的穩定平衡點。總之，Hopfield網絡的設計思想就是在初始輸入下，使得網絡經過反饋計算，最后達到穩定狀態，這時候的輸出就是用戶需要的平衡點。
神經網絡技術作為智能技術的領頭羊，應用前景十分美好，不過基本的神經網絡技術已經快被玩爛了（基本應用），未來的發展在于多方法的綜合應用，研究方向分理論研究和應用研究。理論研究將主要體現在利用神經科學基礎研究成果，用數理方法探索智能水平更高的網絡模型，深入研究網絡的算法和性能，開發新的網絡數理理論。應用研究主要體現在網絡的軟硬件實現研究、各個領域特定問題的研究等等。

總結

以上是生活随笔為你收集整理的常用神经网络模型及其应用评述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。