7.4.1 全連接與局部連接

1968 年 ， 生 物 學 家 休 伯 爾 （ David Hunter Hubel ） 教 授 與 維 澤 爾
（Torsten N.Wiesel）教授在研究動物如何處理視覺信息時有一個重要的發
現。他們發現動物大腦皮層是分級、分層處理信息的。在大腦的初級視覺皮層
中存在好幾種不同的細胞，這些不同類型的細胞?擔著不同層次的視覺感知工
作。
兩位學者的研究成果對于神經網絡領域有著重要的啟發。原來當我們思考
的時候，大腦里的神經元不是采用“全連接”的方式，也就是說沒有必要激活
大腦所有細胞去思考一件事情。那么人工神經網絡是否也可以像大腦一樣，使
用神經元“局部激活”的模式？這樣一來，可以大大簡化神經網絡的復雜性。
徑向基函數神經網絡就是其中的代表之一。
徑向基函數（Radial Basis Function，RBF）神經網絡是一種性能優良的
前饋型神經網絡，與基于BP算法的其他前向神經網絡一樣，其能夠實現對任意
非線性函數的?近，這一點是所有神經網絡的共性，?近能力取決于隱藏層的
神經元個數。RBF神經網絡由輸入層、隱藏層、輸出層組成。從輸入空間到隱
藏層空間的變換是非線性的，而從隱藏層空間到輸出層空間的變換是線性的，
如圖7-13所示。

從網絡結構上看，RBF神經網絡與BP神經網絡有明顯的差異。主要表現在
以?三個方面：
（1）BP神經網絡可以包含多個隱藏層，但是RBF只有一個隱藏層。
（2）BP神經網絡實行權值連接，隱藏層單元的轉移函數一般選擇非線性
函數。而在RBF神經網絡中輸入層到隱藏層之間為直接連接，隱藏層到輸出層
實行權值連接，RBF神經網絡隱藏層單元的轉移函數一般是中心對稱的高斯函
數。
（3）BP神經網絡是全局?近網絡，網絡中各個參數對于輸出結果都有影
響。每次輸入新的樣本，網絡所有神經元的權值全部都要更新，因此學習速度
比較慢；RBF神經網絡是局部?近網絡，也就是說在網絡輸入空間的某個局部
區域只有少數幾個連接神經元影響網絡的輸出。如圖 7-14 所示，每次輸入
時，只有和輸入樣本向量較為接近的神經元才會活躍起來，對應的權值才會更
新，其他權值保持不變，這是由高斯分布函數的特點決定的。

?

BP神經網絡好比是，當我們看到一張貓的圖像時，大腦里負責視覺、嗅
覺、味覺、?覺的神經元全部都被激活。大腦全局響應，綜合所有感官計算之
后判斷出這是一只貓的圖片；RBF 神經網絡好比是當我們看到一張貓的圖像
時，大腦里只有負責視覺的神經元被激活，其他的嗅覺、味覺、?覺的神經元
不會被激活。大腦局部響應，計算量小，這樣模型的運算速度當然比BP神經網
絡要快得多。
7.4.2 改變激活函數
造成以上區別的主要原因在于兩種網絡中隱藏層神經元的激活函數不同。
RBF網絡的基本思想是用高斯函數作為隱藏層神經元的基本構成，然后將輸入
直接映射到隱藏層空間，不需要通過權重連接 。當RBF的中心點確定以后，
映射關系也隨之確定。隱藏層到輸出層的映射是線性的，即網絡的輸出是隱藏
層所有神經元輸出的線性加權和。在RBF神經網絡中，隱藏層的作用是將數據
從低維空間映射到高維空間，當將低維空間中線性不可分的數據集轉換到高維
空間時可以找到線性可分的超平面。例如在二維平面無法線性區分的數據被映
射到三維空間中時可以找到一個平面區分，如圖7-15所示。

?

在RBF網絡中輸入到輸出的映射是非線性的，而輸出對可調參數而言?是
線性的。這種設計讓網絡的權值可由線性方程組直接解出，從而提升學習速度
并避免局部極小問題。
為什么使用高斯函數作為激活函數以后，全局?近網絡會變成局部?近網
絡呢？我們來看看高斯函數的圖像特點，高斯函數的圖像符合正態分布，函數
圖像是兩邊衰減且徑向對稱的，如圖7-16所示。

?

RBF 神經網絡的隱藏層神經元采用輸入樣本與中心向量的距離（如歐式距
離）作為函數的自變量。神經元的輸入離激活函數的中心越遠，神經元的激活
程度就越低。這句話可以理解為：與輸入樣本距離較近的神經元，在高斯公式
的作用?就會被映射到較大的值，這時候神經元才能夠被激活。
與輸入樣本距離較遠的神經元就被映射到幾乎為0的值，即神經元沒有被
激活，在反向傳播的時候沒有權值不更新。從全局的角度來看，網絡中只有一
部分神經元更新權值，也就是所謂的局部學習。由此可見對于RBF神經網絡而
言，核心問題是確定隱藏層神經元的中心參數。常用的方法是從給定的訓練樣
本集里按照某種方法直接選取中心參數，或者通過聚類的方法獲得。
RBF網絡的優點在于，網絡可根據具體問題確定相應的拓撲結構，具有自
學習、自組織、自適應的特點。它對非線性連續函數具有一致?近性，學習速
度快，可以進行大范圍的數據融合，可以并行高速地處理數據。目前 RBF 神
經網絡已成功應用于非線性函數?近、時間序列分析、模式識別、圖像處理、
控制和故障診斷等不同的領域。
目前人工神經網絡已經在一些特定領域取得了舉世矚目的成績，可它的學
習和訓練?往往是一個艱難的過程，為了獲得最佳效果，常常要重復試驗多
次。因此，神經網絡的多元化應用、場景的挖掘離不開產品經理與工程師共同
的努力。隨著業界對神經網絡的深入研究以及硬件計算能力的提升，相信在不
久的將來，神經網絡一定有更廣泛的應用。?

總結

以上是生活随笔為你收集整理的人工智能知识全面讲解： RBF神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。