目錄

一、復(fù)習(xí)（原問(wèn)題、對(duì)偶問(wèn)題、KKT條件、凸函數(shù)）

二、將最優(yōu)化問(wèn)題標(biāo)準(zhǔn)化為原問(wèn)題（嚴(yán)格轉(zhuǎn)化為標(biāo)準(zhǔn)形式）

1、原最優(yōu)化問(wèn)題

2、標(biāo)準(zhǔn)化后的問(wèn)題

三、轉(zhuǎn)化為對(duì)偶問(wèn)題（注意變量的對(duì)應(yīng)關(guān)系）

四、對(duì)對(duì)偶問(wèn)題的目標(biāo)函數(shù)進(jìn)行簡(jiǎn)化（利用L函數(shù)的偏導(dǎo)）

1、L函數(shù)

2、對(duì)L函數(shù)各待定系數(shù)求偏導(dǎo)

1）向量求導(dǎo)

2）L函數(shù)求偏導(dǎo)

3、對(duì)偶問(wèn)題目標(biāo)函數(shù)簡(jiǎn)化（將fai用核函數(shù)K替換）

1）由后面兩個(gè)偏導(dǎo)等式可以將L化簡(jiǎn)為：

2）再通過(guò)第一個(gè)偏導(dǎo)等式進(jìn)一步化簡(jiǎn)：

3）L函數(shù)最終簡(jiǎn)化形式——對(duì)偶問(wèn)題的簡(jiǎn)化形式

五、回歸原問(wèn)題求解w和b

1、求解w

2、求解b

六、SVM算法總結(jié)（訓(xùn)練+測(cè)試）

1、訓(xùn)練流程（根據(jù)訓(xùn)練樣本求解b，獲得最優(yōu)化模型）

2、測(cè)試流程（利用最優(yōu)化模型對(duì)新的樣本進(jìn)行分類）

七、易產(chǎn)生的疑惑

1、原問(wèn)題是求解w,b，為什么后面只需要求b就好了，原問(wèn)題的最優(yōu)解不管了嗎？

---

一、復(fù)習(xí)（原問(wèn)題、對(duì)偶問(wèn)題、KKT條件、凸函數(shù)）

二、將最優(yōu)化問(wèn)題標(biāo)準(zhǔn)化為原問(wèn)題（嚴(yán)格轉(zhuǎn)化為標(biāo)準(zhǔn)形式）

1、原最優(yōu)化問(wèn)題

2、標(biāo)準(zhǔn)化后的問(wèn)題

?

三、轉(zhuǎn)化為對(duì)偶問(wèn)題（注意變量的對(duì)應(yīng)關(guān)系）

注：這里的w指的是問(wèn)題中的待定系數(shù)，如在非線性問(wèn)題中w代表的是w、b和松弛變量

注：這里的α表示的是原問(wèn)題中限制條件中不等式約束中的待定系數(shù)，如下面α有兩個(gè)變量因?yàn)橛袃蓚€(gè)不等式約束；β表示原問(wèn)題中限制條件中等式約束中的待定系數(shù)，如下面β沒(méi)有，因?yàn)闆](méi)有等式約束。

四、對(duì)對(duì)偶問(wèn)題的目標(biāo)函數(shù)進(jìn)行簡(jiǎn)化（利用L函數(shù)的偏導(dǎo)）

1、L函數(shù)

2、對(duì)L函數(shù)各待定系數(shù)求偏導(dǎo)

1）向量求導(dǎo)

?

2）L函數(shù)求偏導(dǎo)

3、對(duì)偶問(wèn)題目標(biāo)函數(shù)簡(jiǎn)化（將fai用核函數(shù)K替換）

將L函數(shù)求偏導(dǎo)得到的等式都帶入到L函數(shù)中，可以將L函數(shù)進(jìn)行簡(jiǎn)化，也就是對(duì)對(duì)偶問(wèn)題的目標(biāo)函數(shù)進(jìn)行了簡(jiǎn)化

1）由后面兩個(gè)偏導(dǎo)等式可以將L化簡(jiǎn)為：

2）再通過(guò)第一個(gè)偏導(dǎo)等式進(jìn)一步化簡(jiǎn)：

上面只有fai是向量，其余的均為標(biāo)量

3）L函數(shù)最終簡(jiǎn)化形式——對(duì)偶問(wèn)題的簡(jiǎn)化形式

求解以上問(wèn)題的算法稱為：SMO算法

五、回歸原問(wèn)題求解w和b

>>>問(wèn)題1：原問(wèn)題是為了求解W,b，但是上面經(jīng)過(guò)對(duì)偶化后求解的卻是α和β，那w,b該怎么返回去求解？

1、求解w

根據(jù)測(cè)試流程實(shí)際上不需要知道w的確切值，只需要知道上圖等式和0的關(guān)系即可

由L函數(shù)對(duì)w求偏導(dǎo)=0的等式和核函數(shù)來(lái)進(jìn)行計(jì)算。

2、求解b

通過(guò)KKT條件和核函數(shù)來(lái)對(duì)b進(jìn)行求解：

KKT條件

求得b

?

六、SVM算法總結(jié)（訓(xùn)練+測(cè)試）

1、訓(xùn)練流程（根據(jù)訓(xùn)練樣本求解b，獲得最優(yōu)化模型）

已知：yi,yj,xi,xj,K(xi,xj)

未知：αi,αj,b

求解αi,αj可以用《SMO算法》進(jìn)行求解，求解b利用公式即可求解

實(shí)際情況下求解b時(shí)，會(huì)選取多個(gè)α的值求得多個(gè)b，然后將多個(gè)b的值進(jìn)行平均化，將平均值作為b最終的取值

2、測(cè)試流程（利用最優(yōu)化模型對(duì)新的樣本進(jìn)行分類）

七、易產(chǎn)生的疑惑

1、原問(wèn)題是求解w,b，為什么后面只需要求b就好了，原問(wèn)題的最優(yōu)解不管了嗎？

答：剛開(kāi)始我也有這個(gè)疑惑，以為是通過(guò)對(duì)偶化作為一種手段來(lái)求解原問(wèn)題的最優(yōu)解w,b。這里我們不能拘泥于解方程，而是得記住最終的目的，為什么求解w,b呢？即使為了得到最優(yōu)化的模型，而得到的模型是為了對(duì)新的樣本數(shù)據(jù)實(shí)現(xiàn)標(biāo)簽分類（y=1或y=-1）,這才是機(jī)器學(xué)習(xí)的真正目的所在，通過(guò)對(duì)偶化我們將原問(wèn)題求解w,b轉(zhuǎn)化為了求解核函數(shù)以及b，最終依然得到了最優(yōu)化的模型，利用該模型可以對(duì)新的樣本數(shù)據(jù)進(jìn)行分類！！！這里也就是說(shuō)最終我們得到的是一個(gè)SVM模型，或者說(shuō)我們通過(guò)訓(xùn)練樣本訓(xùn)練出來(lái)了一個(gè)SVM模型，利用這個(gè)模型我們就可以對(duì)測(cè)試樣本進(jìn)行分類啦

總結(jié)

以上是生活随笔為你收集整理的机器学习——支持向量机SVM之非线性模型（原问题转化为对偶问题）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。