目錄

一、梯度下降通俗解釋

1、解釋

2、常規(guī)套路

3、如何優(yōu)化

二、參數(shù)更新方法

梯度下降

1、目標(biāo)函數(shù)

2、尋找山谷的最低點

3、下山步驟(更新參數(shù))

目標(biāo)函數(shù)

1、批量梯度下降:

2、隨機梯度下降

3、小批量梯度下降法

三、優(yōu)化參數(shù)設(shè)置

學(xué)習(xí)率(步長)

---

常用于優(yōu)化問題求解。沿著梯度反方向。

一、梯度下降通俗解釋

1、解釋

當(dāng)我們得到了一個目標(biāo)函數(shù)后，如何進(jìn)行求解? 直接求解?(并不一定可解，線性回歸可以當(dāng)做是一個特例）。

2、常規(guī)套路

機器學(xué)習(xí)的套路就是我交給機器一堆數(shù)據(jù)，然后告訴它什么樣的學(xué)習(xí)方式是對的(目標(biāo)函數(shù))，然后讓它朝著這個方向去做。

3、如何優(yōu)化

我們要一步步的完成迭代 (每次迭代都應(yīng)找到梯度方向)，直到到達(dá)飽和狀態(tài)為止。

二、參數(shù)更新方法

梯度下降

1、目標(biāo)函數(shù)

2、尋找山谷的最低點

也就是我們的目標(biāo)函數(shù)的終點 (什么樣的參數(shù)能使得目標(biāo)函數(shù)達(dá)到極值點)

3、下山步驟(更新參數(shù))

• 找到當(dāng)前最合適的方向
• 走那么一小步，走快了該”跌倒 ”了（方向不好）
• 按照方向與步伐去更新我們的參數(shù)

目標(biāo)函數(shù)

1、批量梯度下降:

?(容易得到最優(yōu)解，但是由于每次考慮所有樣本，速度很慢)

2、隨機梯度下降

（每次找一個樣本，迭代速度快，有離群點、噪音點，不一定每次都朝著收斂的方向）?

3、小批量梯度下降法

batch? 256、128、64

每次更新選擇一小部分?jǐn)?shù)據(jù)來算，實用。?

三、優(yōu)化參數(shù)設(shè)置

學(xué)習(xí)率(步長)

對結(jié)果會產(chǎn)生巨大的影響，一般小一些。

批處理數(shù)量：32，64，128都可以，很多 時候還得考慮內(nèi)存和效率

總結(jié)

以上是生活随笔為你收集整理的唐宇迪学习笔记7：梯度下降策略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。