通過時間反向傳播

介紹循環神經網絡中梯度的計算和存儲方法，即通過時間反向傳播（back-propagation through time）。

• 正向傳播和反向傳播相互依賴。
• 正向傳播在循環神經網絡中比較直觀，而通過時間反向傳播其實是反向傳播在循環神經網絡中的具體應用。
• 我們需要將循環神經網絡按時間步展開，從而得到模型變量和參數之間的依賴關系，并依據鏈式法則應用反向傳播計算并存儲梯度。

定義模型

考慮一個簡單的無偏差項的循環神經網絡，且激活函數為恒等映射（$?(x)=x$）。設時間步 $t$ 的輸入為單樣本 ${\mathbf{x}}_t\in {\mathbb{R}}^d$，標簽為 $y_t$，那么隱藏狀態 ${\mathbf{h}}_t\in {\mathbb{R}}^h$的計算表達式為

$${\mathbf{h}}_t={\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t?1},$$

其中${\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$和${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$是隱藏層權重參數。設輸出層權重參數${\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$，時間步$t$的輸出層變量${\mathbf{o}}_t\in {\mathbb{R}}^q$計算為

$${\mathbf{o}}_t={\mathbf{W}}_{qh}{\mathbf{h}}_t.$$

設時間步$t$的損失為$?({\mathbf{o}}_t,y_t)$。時間步數為$T$的損失函數$L$定義為

$$L=\frac{1}{T}\sum _{t=1}^T?({\mathbf{o}}_t,y_t).$$

將$L$稱為有關給定時間步的數據樣本的目標函數。

模型計算圖

為了可視化循環神經網絡中模型變量和參數在計算中的依賴關系，我們可以繪制模型計算圖，像下圖。例如，時間步3的隱藏狀態${\mathbf{h}}_3$的計算依賴模型參數${\mathbf{W}}_{hx}$、${\mathbf{W}}_{hh}$、上一時間步隱藏狀態${\mathbf{h}}_2$以及當前時間步輸入${\mathbf{x}}_3$。

表示了時間步數為3的循環神經網絡模型計算中的依賴關系。

• 方框代表變量（無陰影）或參數（有陰影），圓圈代表運算符

方法

圖中的模型的參數是 ${\mathbf{W}}_{hx}$, ${\mathbf{W}}_{hh}$ 和 ${\mathbf{W}}_{qh}$。訓練模型通常需要模型參數的梯度$?L/?{\mathbf{W}}_{hx}$、$?L/?{\mathbf{W}}_{hh}$和$?L/?{\mathbf{W}}_{qh}$。 圖中的依賴關系，我們可以按照其中箭頭所指的反方向依次計算并存儲梯度。

• 首先，目標函數有關各時間步輸出層變量的梯度$?L/?{\mathbf{o}}_t\in {\mathbb{R}}^q$很容易計算：

$$\frac{?L}{?{\mathbf{o}}_t}=\frac{??({\mathbf{o}}_t,y_t)}{T??{\mathbf{o}}_t}.$$

• 之后，可以計算目標函數有關模型參數${\mathbf{W}}_{qh}$的梯度$?L/?{\mathbf{W}}_{qh}\in {\mathbb{R}}^{q\times h}$。根據計算圖，$L$通過${\mathbf{o}}_1,\dots ,{\mathbf{o}}_T$依賴${\mathbf{W}}_{qh}$。依據鏈式法則，

$$\frac{?L}{?{\mathbf{W}}_{qh}}=\sum _{t=1}^T\text{prod}\left(\frac{?L}{?{\mathbf{o}}_t},\frac{?{\mathbf{o}}_t}{?{\mathbf{W}}_{qh}}\right)=\sum _{t=1}^T\frac{?L}{?{\mathbf{o}}_t}{\mathbf{h}}_t^{?}.$$

• 其次，隱藏狀態之間也存在依賴關系。 在計算圖中，$L$只通過${\mathbf{o}}_T$依賴最終時間步$T$的隱藏狀態${\mathbf{h}}_T$。因此，我們先計算目標函數有關最終時間步隱藏狀態的梯度$?L/?{\mathbf{h}}_T\in {\mathbb{R}}^h$。依據鏈式法則，我們得到

$$\frac{?L}{?{\mathbf{h}}_T}=\text{prod}\left(\frac{?L}{?{\mathbf{o}}_T},\frac{?{\mathbf{o}}_T}{?{\mathbf{h}}_T}\right)={\mathbf{W}}_{qh}^{?}\frac{?L}{?{\mathbf{o}}_T}.$$

• 接下來對于時間步$t<T$, 在計算圖中，$L$通過${\mathbf{h}}_{t+1}$和${\mathbf{o}}_t$依賴${\mathbf{h}}_t$。依據鏈式法則， 目標函數有關時間步$t<T$的隱藏狀態的梯度$?L/?{\mathbf{h}}_t\in {\mathbb{R}}^h$需要按照時間步從大到小依次計算：
  $$\frac{?L}{?{\mathbf{h}}_t}=\text{prod}(\frac{?L}{?\mathbf{h}t+1},\frac{?\mathbf{h}t+1}{?{\mathbf{h}}_t})+\text{prod}(\frac{?L}{?{\mathbf{o}}_t},\frac{?{\mathbf{o}}_t}{?{\mathbf{h}}_t})={\mathbf{W}}_{hh}^{?}\frac{?L}{?{\mathbf{h}}_{t+1}}+{\mathbf{W}}_{qh}^{?}\frac{?L}{?{\mathbf{o}}_t}$$

• 將上面的遞歸公式展開，對任意時間步$1\le t\le T$，我們可以得到目標函數有關隱藏狀態梯度的通項公式

$$\frac{?L}{?{\mathbf{h}}_t}=\sum _{i=t}^T{\left({\mathbf{W}}_{hh}^{?}\right)}^{T?i}{\mathbf{W}}_{qh}^{?}\frac{?L}{?{\mathbf{o}}_{T+t?i}}.$$

由上式中的指數項可見，當時間步數 $T$ 較大或者時間步 $t$ 較小時，目標函數有關隱藏狀態的梯度較容易出現衰減和爆炸。這也會影響其他包含$?L/?{\mathbf{h}}_t$項的梯度，例如隱藏層中模型參數的梯度$?L/?{\mathbf{W}}_{hx}\in {\mathbb{R}}^{h\times d}$和$?L/?{\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$。 在圖中，$L$通過${\mathbf{h}}_1,\dots ,{\mathbf{h}}_T$依賴這些模型參數。 依據鏈式法則，有

$$\begin{array}{rl}\frac{?L}{?{\mathbf{W}}_{hx}}& =\sum _{t=1}^T\text{prod}\left(\frac{?L}{?{\mathbf{h}}_t},\frac{?{\mathbf{h}}_t}{?{\mathbf{W}}_{hx}}\right)=\sum _{t=1}^T\frac{?L}{?{\mathbf{h}}_t}{\mathbf{x}}_t^{?},\\ \frac{?L}{?{\mathbf{W}}_{hh}}& =\sum _{t=1}^T\text{prod}\left(\frac{?L}{?{\mathbf{h}}_t},\frac{?{\mathbf{h}}_t}{?{\mathbf{W}}_{hh}}\right)=\sum _{t=1}^T\frac{?L}{?{\mathbf{h}}_t}{\mathbf{h}}_{t?1}^{?}.\end{array}$$

每次迭代中，我們在依次計算完以上各個梯度后，會將它們存儲起來，從而避免重復計算。

• 例如，由于隱藏狀態梯度$?L/?{\mathbf{h}}_t$被計算和存儲，之后的模型參數梯度$?L/?{\mathbf{W}}_{hx}$和$?L/?{\mathbf{W}}_{hh}$的計算可以直接讀取$?L/?{\mathbf{h}}_t$的值，而無須重復計算它們。
• 此外，反向傳播中的梯度計算可能會依賴變量的當前值。它們正是通過正向傳播計算出來的。 舉例來說，參數梯度$?L/?{\mathbf{W}}_{hh}$的計算需要依賴隱藏狀態在時間步$t=0,\dots ,T?1$的當前值${\mathbf{h}}_t$（${\mathbf{h}}_0$是初始化得到的）。這些值是通過從輸入層到輸出層的正向傳播計算并存儲得到的。

總結

以上是生活随笔為你收集整理的（pytorch-深度学习）通过时间反向传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。