RmsPropMomentumAdam

$s_{dw}=\beta s_{dw}+(1?\beta )d{W}^2$ $s_{db}=\beta s_{db}+(1?\beta )d{b}^2$	$v_{dw}=\beta v_{dw}+(1?\beta )dW$ $v_{db}=\beta v_{db}+(1?\beta )db$	$v_{dw}={\beta }_1{v}_{dw}+(1?{\beta }_1)dW$ $v_{db}={\beta }_1{v}_{db}+(1?{\beta }_1)db$ $s_{dw}={\beta }_2{s}_{dw}+(1?{\beta }_2)d{W}^2$ $s_{db}={\beta }_2{s}_{db}+(1?{\beta }_2)d{b}^2$
無修正	無修正	$v_{dw}^c=\frac{v_{dw}}{1?{\beta }_1^t}$ $v_{db}^c=\frac{v_{db}}{1?{\beta }_1^t}$ $s_{dw}^c=\frac{s_{dw}}{1?{\beta }_2^t}$ $s_{db}^c=\frac{s_{db}}{1?{\beta }_2^t}$
$W=W?\alpha \frac{dW}{\sqrt{s_{dw}}+\epsilon }$ $b=b?\alpha \frac{db}{\sqrt{s_{db}}+\epsilon }$	$W=W?\alpha v_{dw}$ $b=b?\alpha v_{db}$	$W=W?\alpha \frac{v_{dw}^c}{\sqrt{s_{dw}^c}+\epsilon }$ $b=b?\alpha \frac{v_{db}^c}{\sqrt{s_{db}^c}+\epsilon }$

算法偽代碼來自[1].
[2]中有一句話：
The method combines the advantages of two recently popular optimization methods: the ability of AdaGrad to deal with sparse gradients, and the ability of RMSProp to deal with non-stationary objectives.
意思是Adam是RmsProp和Momentum算法的結(jié)合.
根據(jù)表格來理解，其實是：
Momentum算法寫成了指數(shù)平均的形式。
Adam其實是在RmsProp的基礎(chǔ)上，對RmsProp的分子做了加權(quán)指數(shù)平均處理。

Reference:
[1]https://blog.csdn.net/willduan1/article/details/78070086
[2]ADAM:A method for stochastic optimization

總結(jié)

以上是生活随笔為你收集整理的Adam是RmsProp和momentum算法的结合(列表比较)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。