雙向循環(huán)神經(jīng)網(wǎng)絡(luò)

一般，我們認(rèn)為循環(huán)神經(jīng)網(wǎng)絡(luò)模型都是假設(shè)當(dāng)前時(shí)間步是由前面的較早時(shí)間步的序列決定的，因此它們都將信息通過隱藏狀態(tài)從前往后傳遞。
有時(shí)候，當(dāng)前時(shí)間步也可能由后面時(shí)間步?jīng)Q定。
例如，當(dāng)我們寫下一個(gè)句子時(shí)，可能會(huì)根據(jù)句子后面的詞來修改句子前面的用詞。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)通過增加從后往前傳遞信息的隱藏層來更靈活地處理這類信息。

• 給定時(shí)間步$t$的小批量輸入${\mathbf{X}}_t\in {\mathbb{R}}^{n\times d}$（樣本數(shù)為$n$，輸入個(gè)數(shù)為$d$）
• 隱藏層激活函數(shù)為$?$。

在雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的架構(gòu)中， 設(shè)

• 該時(shí)間步正向隱藏狀態(tài)為${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$（正向隱藏單元個(gè)數(shù)為$h$）
• 反向隱藏狀態(tài)為${\mathbf{H}}_t\in {\mathbb{R}}^{n\times h}$（反向隱藏單元個(gè)數(shù)為$h$）。

我們可以分別計(jì)算正向隱藏狀態(tài)和反向隱藏狀態(tài)：

$$\begin{array}{rl}{\mathbf{H}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(f)}+{\mathbf{H}}_{t?1}{\mathbf{W}}_{hh}^{(f)}+{\mathbf{b}}_h^{(f)}),\\ {\mathbf{H}}_t& =?({\mathbf{X}}_t{\mathbf{W}}_{xh}^{(b)}+{\mathbf{H}}_{t+1}{\mathbf{W}}_{hh}^{(b)}+{\mathbf{b}}_h^{(b)})\end{array}$$

其中權(quán)重${\mathbf{W}}_{xh}^{(f)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(f)}\in {\mathbb{R}}^{h\times h}$、${\mathbf{W}}_{xh}^{(b)}\in {\mathbb{R}}^{d\times h}$、${\mathbf{W}}_{hh}^{(b)}\in {\mathbb{R}}^{h\times h}$和偏差 ${\mathbf{b}}_h^{(f)}\in {\mathbb{R}}^{1\times h}$、${\mathbf{b}}_h^{(b)}\in {\mathbb{R}}^{1\times h}$均為模型參數(shù)。

然后通過連結(jié)兩個(gè)方向的隱藏狀態(tài)${\mathbf{H}}_t$和${\mathbf{H}}_t$來得到隱藏狀態(tài)${\mathbf{H}}_t\in {\mathbb{R}}^{n\times 2h}$，并將其輸入到輸出層。

輸出層計(jì)算輸出${\mathbf{O}}_t\in {\mathbb{R}}^{n\times q}$（輸出個(gè)數(shù)為$q$）：

$${\mathbf{O}}_t={\mathbf{H}}_t{\mathbf{W}}_{hq}+{\mathbf{b}}_q,$$

其中權(quán)重${\mathbf{W}}_{hq}\in {\mathbb{R}}^{2h\times q}$和偏差${\mathbf{b}}_q\in {\mathbb{R}}^{1\times q}$為輸出層的模型參數(shù)。不同方向上的隱藏單元個(gè)數(shù)也可以不同。

總結(jié)

以上是生活随笔為你收集整理的（pytorch-深度学习）双向循环神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。