目錄

Adam算法：

算法目的：

?不收斂時便循環 執行下面程序（偽代碼）：

參數解釋：

對參數的相關說明：

---

Adam算法：

算法目的：

通過改善訓練方式，來最小化(或最大化)損失函數E(x)，從而調整模型更新權重和偏差參數

不收斂時便循環 執行下面程序（偽代碼）：

參數解釋：

t：t為時間步，初始化為 0

：時間步為?t?時的梯度

：要更新的參數

：參數的隨機目標函數

：分別為一階矩和二階矩的指數衰減率

：對梯度的一階矩估計

：對梯度的二階矩估計

：對的 校正

:的 t?次冪

：對的校正

：學習率

：為了維持數值穩定性而添加的常數

對參數的相關說明：

一些參數的默認設置：

提供了增大學習率的參數，加速訓練的能力。因為累積的一階動量（梯度）越大，代表在單一方向上更新的越多，越需要收斂。其初始值為0.

??提供了減小學習率的能力，因為越大表示累計的二階動量（梯度平方）越大，代表這個參數更新越頻繁，震蕩越嚴重，所以需要衰減學習率。其初始值為0.

：范圍為[0,1)，起到了對一二階動量指數衰減的作用，避免累計過大

：梯度下降的功能是：通過尋找最小值，控制方差，更新模型參數，最終使模型收斂。在神經網絡中主要用來進行權重更新，即在一個方向上更新和調整模型的參數來最小化損失函數。

一階矩表示梯度均值，二階矩表示方差，一階矩控制 模型更新的方向，二階矩控制學習率。

?

---

參考資料?

【1】https://www.cnblogs.com/wuchengze/p/13610500.html

【2】https://blog.csdn.net/fu6543210/article/details/83044905?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-13.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-13.control

?

總結

以上是生活随笔為你收集整理的Adam公式+参数解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。