http://blog.csdn.net/mao_xiao_feng/article/details/53350798

Hebbian principle

目前圖像領域的深度學習，是使用更深的網絡提升representation power，從而提高準確率，但是這會導致網絡需要更新的參數爆炸式增長，導致兩個嚴重的問題：
1、網絡更容易過擬合，當數據集不全的時候，過擬合更容易發生，于是我們需要為網絡feed大量的數據，但是制作樣本集本身就是一件復雜的事情。
2、大量需要更新的參數就會導致需要大量的計算資源，而當下即使硬件快速發展，這樣龐大的計算也是很昂貴的

解決以上問題的根本方法就是把全連接的網絡變為稀疏連接（卷積層其實就是一個稀疏連接），當某個數據集的分布可以用一個稀疏網絡表達的時候就可以通過分析某些激活值的相關性，將相關度高的神經元聚合，來獲得一個稀疏的表示。
這種方法也呼應了Hebbian principle，一個很通俗的現象，先搖鈴鐺，之后給一只狗喂食，久而久之，狗聽到鈴鐺就會口水連連。這也就是狗的“聽到”鈴鐺的神經元與“控制”流口水的神經元之間的鏈接被加強了，而Hebbian principle的精確表達就是如果兩個神經元常常同時產生動作電位，或者說同時激動（fire），這兩個神經元之間的連接就會變強，反之則變弱（neurons that fire together, wire together）

總結

以上是生活随笔為你收集整理的Hebbian principle理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。