算法模型Lstm(循環神經網絡)：

簡介

LSTM和RNN相似，它們都是在前向傳播的過程中處理流經細胞的數據，不同之處在于 LSTM 中細胞的結構和運算有所變化。

LSTM結構：

遺忘門：

遺忘門的功能是決定應丟棄或保留哪些信息。來自前一個隱藏狀態的信息和當前輸入的信息同時傳遞到 sigmoid 函數中去，輸出值介于0和1之間，越接近0意味著越應該丟棄，越接近 1 意味著越應該保留。如圖遺忘門：

遺忘門圖

遺忘門的輸入信息，分別是ht-1，xt，從公式上我們可以看到是這兩個值與權重矩陣Wf相乘，我們可以理解為ht-1與xt的拼接，拼接以后再與Wf相乘，然后加上一個偏置bf，最后經過一個激活函數sigmoid，使得線性變換變成非線性變換，此時ft的取值為(1,0)，這個值決定了Ct-1的值是否被記憶或者遺忘，或者說記住多少，這就是這個遺忘門的作用。

輸入門：

輸入門用于更新細胞狀態。首先將前一層隱藏狀態的信息和當前輸入的信息傳遞到 sigmoid 函數中去。將值調整到 0~1 之間來決定要更新哪些信息。0 表示不重要，1 表示重要。
其次還要將前一層隱藏狀態的信息和當前輸入的信息傳遞到 tanh 函數中去，創造一個新的侯選值向量。最后將 sigmoid 的輸出值與 tanh 的輸出值相乘，sigmoid 的輸出值將決定 tanh 的輸出值中哪些信息是重要且需要保留下來的。
如圖輸入門：

輸入門圖

it和ft公式是一樣的，這就說明，it也具有遺忘的功能，比如，Ct-1在遇到ft的時候，ft決定保留Ct-1的記憶，則此時，it則決定著對C_{t的遺忘能力，C}t是LSTM需要記憶的新的值

記憶單元：

如圖 記憶單元：

記憶單元圖

Ct-1遺忘剩余的部分，與新的要記憶的部分C~t相加，就是要輸出的Ct

輸出門：

輸出門用來確定下一個隱藏狀態的值，隱藏狀態包含了先前輸入的信息。首先，我們將前一個隱藏狀態和當前輸入傳遞到sigmoid函數中，然后將新得到的細胞狀態傳遞給tanh函數。
最后將tanh的輸出與sigmoid的輸出相乘，以確定隱藏狀態應攜帶的信息。再將隱藏狀態作為當前細胞的輸出，把新的細胞狀態和新的隱藏狀態傳遞到下一個時間步長中去。
圖 輸出門：

輸出門圖

最后來到了輸出門，本次輸出的結果就從這個地方輸出，我們可以看到ht是由Ot與tanh（Ct） 相乘得來，也就是說本次需要多少為我所用的含義。
如圖6LSTM結構圖：

LSTM結構圖

總結

以上是生活随笔為你收集整理的Lstm(循环神经网络)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。