?

梯度下降法公式：

求??

?

就是找到一個?能夠最小化代價函數(shù)J()?

如何確保梯度下降正常工作？如何選擇學習率a (learning rate )？ 今天就給大家總結一下學習率有關的知識

當學習率a選擇過大可能出現(xiàn)隨著迭代次數(shù)的增加，代價函數(shù)J() 越來越大，不會收斂。 這個時候就需要減小學習率。

數(shù)據(jù)家已經(jīng)證明：只有學習率足夠小，代價函數(shù)就應該隨著迭代次數(shù)的增加而減小。

因此如果代價函數(shù)沒有下降，一般都是學習率選的太大。但是也不能使學習率選的太小，因為如果太小，那么梯度下降算法可能收斂得比較慢。

總結：（1）如果 學習率a 太小，梯度下降算法可能收斂得比較慢

（2） 如果學習率a太大，梯度下降算法可能不會再每次迭代都下降，甚至不收斂。

通常我嘗試選擇 學習率a: 0.001,0.003,0.01,0.03,0.1,0.3, 1?

選擇一個是梯度下降收斂效果比較好的 學習率a.

?

?

轉載于:https://www.cnblogs.com/gylhaut/p/9382662.html

總結

以上是生活随笔為你收集整理的机器学习之——学习率的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。