文章目錄

• • 梯度消失和爆炸原理
  • • 求導(dǎo)知識
    • RNN推導(dǎo)

梯度消失和爆炸原理

求導(dǎo)知識

$y=x^2$

$\mathrm{d}y$ 導(dǎo)數(shù)

$\frac{dy}{dx}$ 偏導(dǎo)

RNN推導(dǎo)

正向傳播：

$a_t=w_x{x}_t+w_h{h}_{t?1}+b_t$

$h_t=\sigma (a_t)$

$\hat{y}=softmax(w_y{h}_t+b_y)$

定義loss：
用logloss，TODO：多分類的logloss為啥是下面的格式？為啥不是$loss=\sum [?ylog(\hat{y})?(1?y)log(1?\hat{y})]$

$loss=\mathcal{L}=\sum _{i=1}^n?y_{i}log(\widehat{y_i})$

$\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{w}_t}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{a}_t}\frac{\mathrm{d}{a}_t}{\mathrm{d}{w}_t}=\frac{\mathrm{d}\mathcal{L}}{\mathrm{d}{a}_t}$

參考1
參考2
參考3

總結(jié)

以上是生活随笔為你收集整理的rnn 梯度消失爆炸的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。