深度學習之卷積神經網絡（6）梯度傳播

?在完成手寫數字圖片識別實戰后，我們對卷積神經網絡的使用有了初步的了解?，F在我們來解決一個關鍵問題，卷積層通過移動感受野的方式實現離散卷積操作，那么它的梯度傳播是怎樣進行的呢？

?考慮一簡單的情形，輸入$3\times 3$的單通道矩陣，與一個$2\times 2$的卷積核，進行卷積運算，輸出結果打平后直接與虛構的標注計算誤差，如下圖所示。我們來討論這種情況下的梯度更新方式。

卷積層梯度傳播舉例

?首先推導出張量$\mathbf{O}$的表達形式:
$$\begin{gathered} o_{00}=x_{00}{w}_{00}+x_{01}{w}_{01}+x_{10}{w}_{10}+x_{11}{w}_{11}+b \\ {o}_{01}=x_{01}{w}_{00}+x_{02}{w}_{01}+x_{11}{w}_{10}+x_{12}{w}_{11}+b \\ {o}_{10}=x_{10}{w}_{00}+x_{11}{w}_{01}+x_{20}{w}_{10}+x_{21}{w}_{11}+b \\ {o}_{11}=x_{11}{w}_{00}+x_{12}{w}_{01}+x_{21}{w}_{10}+x_{22}{w}_{11}+b \end{gathered}$$

以$w_{00}$的梯度計算為例，通過鏈式法則分解:
$$\frac{?\mathcal{L}}{?w_{00}}=\sum _{i\in \{00,01,10,11\}}\frac{?\mathcal{L}}{?o_i}\frac{?o_i}{?w_{00}}$$

其中$\frac{?\mathcal{L}}{?o_i}$可直接由誤差函數推導出來，我們直接來考慮$\frac{?o_i}{?w_{00}}$，例如:
$$\begin{array}{rl}\frac{?o_{00}}{?w_{00}}& =\frac{?(x_{00}{w}_{00}+x_{01}{w}_{01}+x_{10}{w}_{10}+x_{11}{w}_{11}+b}{w_{00}}\\ & =x_{00}\end{array}$$
同理:
$$\begin{array}{rl}\frac{?o_{01}}{?w_{00}}& =\frac{?(x_{01}{w}_{00}+x_{02}{w}_{01}+x_{11}{w}_{10}+x_{12}{w}_{11}+b}{w_{00}}\\ & =x_{01}\end{array}$$
$$\begin{array}{rl}\frac{?o_{10}}{?w_{00}}& =\frac{?(x_{10}{w}_{00}+x_{11}{w}_{01}+x_{10}{w}_{10}+x_{21}{w}_{11}+b}{w_{00}}\\ & =x_{10}\end{array}$$
$$\begin{array}{rl}\frac{?o_{11}}{?w_{00}}& =\frac{?(x_{11}{w}_{00}+x_{12}{w}_{01}+x_{21}{w}_{10}+x_{22}{w}_{11}+b}{w_{00}}\\ & =x_{11}\end{array}$$

?可以觀察到，通過循環移動感受野的方式并沒有改變網絡層的可導性，同時梯度的推導也并不復雜，知識當網絡層數增大以后，人工梯度推導將變得十分繁瑣。不過不需要擔心，深度學習框架可以幫我們自動完成所有參數的梯度計算與更新，我們只需要設計好網絡結構即可。

總結

以上是生活随笔為你收集整理的深度学习之卷积神经网络（6）梯度传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。