本人認為：

lstm只能緩解梯度消失，并不能完全解決；因為最新的狀態單元可以是過去的一個線性組合，過去的信息傳遞到現在主要是由每個時間步的遺忘門參數連乘決定的；

而rnn是過去時間序列的一個連乘；由參數w與tanh激活函數的導數值連乘而得到的；

?

?

?

總結

以上是生活随笔為你收集整理的lstm解决梯度消失的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。