目錄

1.算法目標

2.算法描述

3.算法推導

4.注意

---

1.算法目標

逐漸逼近損失函數 loss 的極小值，簡單抽象為求函數的極小值。

2.算法描述

每次取一個增量，使得，每次向函數值更小的地方前進一小步，多次迭代就能做到逐漸逼近函數的極小值。

3.算法推導

展開得到公式。

其中H為海森矩陣，暫且不考慮。為使成立，只需要保證。

即，當時，，如此即可保證每次更新在逐漸逼近函數的極小值。其中為學習率是一個較小的正數。

每次更新時做 操作，求得的最小值。

4.注意

上述過程是在逼近極小值，不一定是函數的最小值。

是一種下降趨勢，整個循環步驟中函數值在下降，并非每個小步驟得到的函數值都比前一次要小。

總結

以上是生活随笔為你收集整理的随机梯度下降算法原理 知乎_梯度下降算法的正确步骤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。