梯度下降法和牛頓法的總結(jié)與比較

機(jī)器學(xué)習(xí)的本質(zhì)是建立優(yōu)化模型，通過優(yōu)化方法，不斷迭代參數(shù)向量，找到使目標(biāo)函數(shù)最優(yōu)的參數(shù)向量。最終建立模型

通常用到的優(yōu)化方法：梯度下降方法、牛頓法、擬牛頓法等。這些優(yōu)化方法的本質(zhì)就是在更新參數(shù)。

一、梯度下降法

0、梯度下降的思想

通過搜索方向和步長來對(duì)參數(shù)進(jìn)行更新。其中搜索方向是目標(biāo)函數(shù)在當(dāng)前位置的負(fù)梯度方向。因?yàn)檫@個(gè)方向是最快的下降方向。步長確定了沿著這個(gè)搜索方向下降的大小。

迭代的過程就像是在不斷的下坡，最終到達(dá)坡地。

接下來的目標(biāo)函數(shù)以線性回歸的目標(biāo)函數(shù)為例：

1、批量梯度下降法

2、隨機(jī)梯度下降法

3.隨機(jī)梯度下降和梯度下降的比較

批量梯度下降：1.是最小化所有樣本的損失函數(shù)，最終得到全局最優(yōu)解。

2.由于每次更新參數(shù)需要重新訓(xùn)練一次全部的樣本，代價(jià)比較大，適用于小規(guī)模樣本訓(xùn)練的情況。

隨機(jī)梯度下降：1.是最優(yōu)化每個(gè)樣本的損失函數(shù)。每一次迭代得到的損失函數(shù)不是，每次每次向著全局最優(yōu)的方向，但是大體是向著全局最優(yōu)，最終的結(jié)果往往是在最優(yōu)解的附近。

2.當(dāng)目標(biāo)函數(shù)是凸函數(shù)的時(shí)候，結(jié)果一定是全局最優(yōu)解。

3.適合大規(guī)模樣本訓(xùn)練的情況。

小批量梯度下降法

將上述兩種方法作結(jié)合。每次利用一小部分?jǐn)?shù)據(jù)更新迭代參數(shù)。即樣本在1和m之間。

二、牛頓法

首先牛頓法是求解函數(shù)值為0時(shí)的自變量取值的方法。

利用牛頓法求解目標(biāo)函數(shù)的最小值其實(shí)是轉(zhuǎn)化成求使目標(biāo)函數(shù)的一階導(dǎo)為0的參數(shù)值。這一轉(zhuǎn)換的理論依據(jù)是，函數(shù)的極值點(diǎn)處的一階導(dǎo)數(shù)為0.

其迭代過程是在當(dāng)前位置x0求該函數(shù)的切線，該切線和x軸的交點(diǎn)x1，作為新的x0,重復(fù)這個(gè)過程，直到交點(diǎn)和函數(shù)的零點(diǎn)重合。此時(shí)的參數(shù)值就是使得目標(biāo)函數(shù)取得極值的參數(shù)值。

其迭代過程如下：

迭代的公式如下：

當(dāng)θ是向量時(shí)，牛頓法可以使用下面式子表示：

其中H叫做海森矩陣，其實(shí)就是目標(biāo)函數(shù)對(duì)參數(shù)θ的二階導(dǎo)數(shù)。

三、牛頓法和梯度下降法的比較

1.牛頓法：是通過求解目標(biāo)函數(shù)的一階導(dǎo)數(shù)為0時(shí)的參數(shù)，進(jìn)而求出目標(biāo)函數(shù)最小值時(shí)的參數(shù)。

收斂速度很快。

海森矩陣的逆在迭代過程中不斷減小，可以起到逐步減小步長的效果。

缺點(diǎn)：海森矩陣的逆計(jì)算復(fù)雜，代價(jià)比較大，因此有了擬牛頓法。

2.梯度下降法：是通過梯度方向和步長，直接求解目標(biāo)函數(shù)的最小值時(shí)的參數(shù)。

越接近最優(yōu)值時(shí)，步長應(yīng)該不斷減小，否則會(huì)在最優(yōu)值附近來回震蕩。

一元函數(shù)梯度下降

import numpy as np

import matplotlib.pyplot as plt

import matplotlib as mpl

import math

from mpl_toolkits.mplot3d import Axes3D

import warnings

"""

對(duì)當(dāng)前一維原始圖像求最小點(diǎn)：

1、隨機(jī)取一個(gè)點(diǎn)(橫坐標(biāo)為x)，設(shè)定阿爾法參數(shù)值。

2、對(duì)這個(gè)點(diǎn)求導(dǎo)數(shù) ,x =x - α*(dY/dx)。

3、重復(fù)第二步、設(shè)置迭代 y的變化量小于多少時(shí) 不再繼續(xù)迭代。

"""

# 導(dǎo)數(shù)

def h1(x):

return 0.5 * 2 * (x-0.25)

X = np.arange(-4,4,0.05)

Y = np.array(list(map(lambda t: f1(t),X)))

Y

x = 4

alpha = 0.5

f_change = f1(x) # y的變化量

iter_num = 0 # 迭代次數(shù)

GD_X = [x] #保存梯度下降所經(jīng)歷的點(diǎn)

GD_Y = [f1(x)]

while(f_change > 1e-10) and iter_num<100:

tmp = x - alpha * h1(x)

f_change = np.abs(f1(x) - f1(tmp))

x = tmp

GD_X.append(x)

GD_Y.append(f1(x))

iter_num += 1

print(u"最終結(jié)果為:(%.5f,%.5f)"%(x,f1(x)))

print(u"迭代過程中X的取值，迭代次數(shù):%d" % iter_num)

print(GD_X)

%matplotlib inline

plt.figure(facecolor='w')

plt.plot(X,Y,'r-',linewidth=2) #第三個(gè)參數(shù)是顏色和形狀，red圈就是ro-,red直線就是r-

plt.plot(GD_X, GD_Y, 'bo-', linewidth=2)

plt.title(u'函數(shù)$ y = 0.5 * (x-0.25)^2$;\n學(xué)習(xí)率%.3f;最終解:(%.3f,%.3f),迭代次數(shù)：%d'%(alpha,x,f1(x),iter_num))

二元函數(shù)梯度下降

1.用excel實(shí)現(xiàn)

2.用python代碼實(shí)現(xiàn)

導(dǎo)入需要的庫函數(shù)

import numpy as np

import matplotlib.pyplot as plt

import matplotlib as mpl

import math

from mpl_toolkits.mplot3d import Axes3D

import warnings

f2為原函數(shù) hx1為對(duì)x1求偏導(dǎo) hx2為對(duì)x2求偏導(dǎo)

def f2(x, y):

return 41.5*x-0.3*y+65.3

## 偏函數(shù)

def hx1(x, y):

return 41.5

def hx2(x, y):

return 0.3

生成隨機(jī)矩陣方便畫圖

X1 = np.arange(-4,4,0.2)

X2 = np.arange(-4,4,0.2)

X1, X2 = np.meshgrid(X1, X2) # 生成xv、yv，將X1、X2變成n*m的矩陣，方便后面繪圖

Y = np.array(list(map(lambda t : f2(t[0],t[1]),zip(X1.flatten(),X2.flatten()))))

Y.shape = X1.shape # 1600的Y圖還原成原來的(40,40)

設(shè)置初始值為x1=1 x2=2 設(shè)置迭代精度為0.1 初始化迭代次數(shù)為0

x1 = 1

x2 = 1

alpha = 0.1

#保存梯度下降經(jīng)過的點(diǎn)

GD_X1 = [x1]

GD_X2 = [x2]

GD_Y = [f2(x1,x2)]

# 定義y的變化量和迭代次數(shù)

y_change = f2(x1,x2)

iter_num = 0

while(y_change > 1e-10 and iter_num < 100) :

tmp_x1 = x1 - alpha * hx1(x1,x2)

tmp_x2 = x2 - alpha * hx2(x1,x2)

tmp_y = f2(tmp_x1,tmp_x2)

f_change = np.absolute(tmp_y - f2(x1,x2))

x1 = tmp_x1

x2 = tmp_x2

GD_X1.append(x1)

GD_X2.append(x2)

GD_Y.append(tmp_y)

iter_num += 1

print(u"最終結(jié)果為:(%.5f, %.5f, %.5f)" % (x1, x2, f2(x1,x2)))

print(u"迭代過程中X的取值，迭代次數(shù):%d" % iter_num)

print(GD_X1)

最終結(jié)果為:(-414.00000, -2.00000, -17115.10000)

迭代過程中X的取值，迭代次數(shù):100

[1, -3.1500000000000004, -7.300000000000001, -11.450000000000001, -15.600000000000001, -19.75, -23.9, -28.049999999999997, -32.199999999999996, -36.349999999999994, -40.49999999999999, -44.64999999999999, -48.79999999999999, -52.94999999999999, -57.09999999999999, -61.249999999999986, -65.39999999999999, -69.55, -73.7, -77.85000000000001, -82.00000000000001, -86.15000000000002, -90.30000000000003, -94.45000000000003, -98.60000000000004, -102.75000000000004, -106.90000000000005, -111.05000000000005, -115.20000000000006, -119.35000000000007, -123.50000000000007, -127.65000000000008, -131.80000000000007, -135.95000000000007, -140.10000000000008, -144.25000000000009, -148.4000000000001, -152.5500000000001, -156.7000000000001, -160.8500000000001, -165.0000000000001, -169.15000000000012, -173.30000000000013, -177.45000000000013, -181.60000000000014, -185.75000000000014, -189.90000000000015, -194.05000000000015, -198.20000000000016, -202.35000000000016, -206.50000000000017, -210.65000000000018, -214.80000000000018, -218.9500000000002, -223.1000000000002, -227.2500000000002, -231.4000000000002, -235.5500000000002, -239.70000000000022, -243.85000000000022, -248.00000000000023, -252.15000000000023, -256.30000000000024, -260.4500000000002, -264.6000000000002, -268.75000000000017, -272.90000000000015, -277.0500000000001, -281.2000000000001, -285.3500000000001, -289.50000000000006, -293.65000000000003, -297.8, -301.95, -306.09999999999997, -310.24999999999994, -314.3999999999999, -318.5499999999999, -322.6999999999999, -326.84999999999985, -330.99999999999983, -335.1499999999998, -339.2999999999998, -343.44999999999976, -347.59999999999974, -351.7499999999997, -355.8999999999997, -360.04999999999967, -364.19999999999965, -368.3499999999996, -372.4999999999996, -376.6499999999996, -380.79999999999956, -384.94999999999953, -389.0999999999995, -393.2499999999995, -397.39999999999947, -401.54999999999944, -405.6999999999994, -409.8499999999994, -413.9999999999994]

可見： python代碼所得結(jié)果和excel所得結(jié)果完全一致

# 作圖

fig = plt.figure(facecolor='w',figsize=(20,18))

ax = Axes3D(fig)

ax.plot_surface(X1,X2,Y,rstride=1,cstride=1,cmap=plt.cm.jet)

ax.plot(GD_X1,GD_X2,GD_Y,'ko-')

ax.set_xlabel('x')

ax.set_ylabel('y')

ax.set_zlabel('z')

ax.set_title(u'$ y = x1^2+2(x2)^2 - 4(x1)-2(x1) (x2) $')

ax.set_title(u'函數(shù);\n學(xué)習(xí)率:%.3f; 最終解:(%.3f, %.3f, %.3f);迭代次數(shù):%d' % (alpha, x1, x2, f2(x1,x2), iter_num))

plt.show()

總結(jié)

以上是生活随笔為你收集整理的python二元函数求导_用Excel和python实现二元函数梯度下降的人工智能,之用,excel,一元...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。