??神經網絡訓練的過程就是權重參數尋優的過程，我們想知道隨著訓練的進行，參數到底發生怎樣的變化。本文以LeNet為例，進行一些試驗觀察。

??LeNet代碼見上一小節，這里只給出conv2層的權重，其形狀為 16×6×5×5，其他層權重的變化情況類似。
不同訓練輪數conv2層權重的分布直方圖：

conv2權重的均值、標準差、隨機抽取的10個參數以及梯度的1范數隨訓練500輪的變化情況：

??可以看出：
（1）初始分布是平均分布，后面逐漸過渡為類似正態分布（但左邊緩一些，右邊陡一些）。
（2）隨著訓練的繼續，模型的準確率早已穩定（這點從上一小節可以看出），但并不意味著權重也趨于穩定，實際上隨著訓練進行，權重的方差持續變大，表現為值小的參數越來越小，值大的參數越來越大。
（3）梯度總體趨勢是逐漸變小，但并不是平緩變化的，有時梯度會突然出現很大的值，但這些巨大梯度的出現也并不對應網絡損失或預測精度的突然改變。
上述情況是對參數隨訓練過程變化的一個深入解剖，為什么會這樣我也不清楚，先把現象放在這里。

總結

以上是生活随笔為你收集整理的LeNet试验（二）权重参数随训练的变化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。