一、人工神經網絡簡介

? ? ? ? 人工神經網絡(Artificial Neural Networks，ANN)基本組成成分是：輸入(感知)器、加權求和(信息匯聚)、傳遞(信息傳輸)器、輸出(響應)器組成。

? ? ? ? 決定神經網絡信息處理性能的三大要素：激勵函數、學習算法、拓撲結構。

?二、人工神經網絡研究熱點

?①激勵函數——反應神經元輸入累積和與輸出之間的函數關系。

? ? 激活函數的種類：線性恒等函數；閾值型激勵函數(如階躍函數)；非線性激勵函數(常指sigmod函數，即S形函數，分為單極性S形函數和雙極性S形函數兩種)；分段線性函數概率型激勵函數(利用一個隨機函數來描述輸出狀態為1或0的概率，它重點描述狀態的統計概率)。

? 目前關于激活函數的研究有兩個方向：1>復雜形勢的函數用作激勵函數；2>某線性無關或正交的函數系。前者有可調激勵函數(Tunable Activation Function，TAF)神經元模型，具有可調節的權值、閾值(偏置)、激勵函數族的參數，優點是學習速度快，網絡結構簡單，逼近性能好。后者用線性無關或者正交的函數組作為激勵函數的神經網絡被稱為基函數神經網絡，包括：高斯基函數神經網絡，徑向基函數神經網絡，小波基函數神經網絡，傅里葉基函數神經網絡，正交多項式基函數，Legendre正交基錢箱神經網絡，Laguerre正交基前向神經網絡，Gegenbauer神經網絡，Hermite前向神經網絡，復指數Fourier神經元網絡等神經網絡模型。

②學習算法——為使神經網絡執行某種任務，需使用有效的學習算法來調節神經元的互聯權值或偏置，這就算神經網絡的學習修正過程。

? ? ?1>有監督學習(有教師學習)：采用糾錯規則，在學習過程中需要提供與網絡輸入相對應的期望輸出，并根據神經網絡的實際輸出與期望輸出之間的誤差信號對應地調整網絡的連接權值以使該誤差不斷縮小，進而使得下一次學習完成后該神經網絡的輸出更接近期望結果，直至達到所要求的逼近精度(性能指標)。

? ? ?2>無監督學習(無教師學習)：神經網絡根據其特有的結構、外部輸入信號特征和學習規則來調節自身參數或結構，其結果是使神經網絡的輸出能夠反映輸入的某種固有特性。一般認為這種學習模式中神經網絡的學習評價標準隱含于網絡內部。

? ? 3>混合型學習算法

? ? 4>強化學習算法

? ? 5>預置型學習算法

☆☆權值調整算法：典型的就是最速梯度下降的誤差回傳算法，可搜索到最優連接權值，但迭代(收斂)時間長，易陷入局部極小值，學習精度不高，學習率難選取。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 基于矩陣逆和偽逆的思想嘗試直接確定該類神經網絡的最優權值，有點是在ms級的時間內直接計算確定該類神經網絡的最優連接權值，學習精度也大大提高。

③拓撲結構

? ? ? 1>前向網絡：多采用層次型結構，以層的形式組織起來，各層順序相聯，網絡中各神經元接收前一級的輸入，并輸出到下一級，神經元自身及神經元之間都不存在連接，即網絡中沒有反饋型物理連接。由輸入層，隱藏層，輸出層構成。隱層神經元不與外接發生直接的聯系，它從網絡內部接受輸入信息，所產生的輸出也只作用于該神經網絡中的其他神經元。隱節點過少，學習達不到期望的收斂精度；相反，隱節點過多，網絡學習性能得到加強。隱神經元數目的選取直接影響到神經網絡拓撲結構和網絡性能。

? ? ? 2>反饋型網絡：是一種從輸出到輸入或網絡各層具有反饋連接的網絡結構。在反饋網絡中，輸入信號決定網絡的初始狀態，經過一系列變換(轉移)后網絡逐漸穩定和接近平衡狀態(穩態)，穩態結果就作為反饋網絡的最終結果而輸出。

☆☆典型的錢箱神經網絡是反向誤差傳播神經網絡(Error Back Propagation Neural Network，BP神經網絡)，而典型的反饋神經網絡是Hopfield類型神經網絡。

總結

以上是生活随笔為你收集整理的人工神经网络——笔记摘抄1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。