http://blog.csdn.net/Andrewseu/article/details/46991541

本講大綱：

1.最優(yōu)間隔分類器(optimal margin classifier)?
2.原始/對偶優(yōu)化問題（KKT）（primal/dual optimization problem）?
3.SVM對偶(SVM dual)?
4.核方法(kernels)(簡要，下一講詳細(xì))

1.最優(yōu)間隔分類器

假設(shè)給我們的數(shù)據(jù)集是線性可分的(linearly separable). 就是說用超平面可以分隔正負(fù)樣本. 我們要找到最大的幾何間隔. 我們可以轉(zhuǎn)化為下面的優(yōu)化問題：?
?
由于||W|| = 1，這保證了函數(shù)間隔等于幾何間隔，只要解決了上面的優(yōu)化問題我們就解決了這個(gè)問題，但是||W||是一個(gè)不好的（非凸性）的限制，這不是我們能夠直接用軟件解決的優(yōu)化問題. 因此轉(zhuǎn)化為更好的一個(gè)問題：?

我們最大化, 我們把限制||W||去掉了，但是仍然是非凸性的.

前面有討論過對w和b加上任意比例的限制不會改變什么. 因此，加上規(guī)模的限制，對訓(xùn)練集的函數(shù)間隔設(shè)置為1：?
因此，最優(yōu)化問題變?yōu)?#xff1a;?
?
上面的優(yōu)化問題變?yōu)橐粋€(gè)凸二次目標(biāo)函數(shù)(convex quadratic objective). 這給我們一個(gè)最優(yōu)間隔分類器的解決方案. 這個(gè)優(yōu)化問題可以用商用的二次編程代碼解決.

2.原始/對偶優(yōu)化問題

2.1 拉格朗日二元性(Lagrange duality)?
考慮下面形式的問題：?
?
我們可以用拉格朗日乘數(shù)法來解決這個(gè)問題.

定義Lagrangian為：?
?
這邊成為拉格朗日乘數(shù)（Lagrange multipliers）. 另其偏導(dǎo)數(shù)為零.?
?
然后解出w和

2.2 原始優(yōu)化問題（primal optimization problem）?
?
定義一般的拉格朗日算子（generalized Lagrangian）:?
?
是拉格朗日乘數(shù).?
?
下標(biāo)”P”表示”prime”, 如果給定的w違反了原始限制（），則?
?
如果w滿足原始限制，那么?因此：?

考慮最小化問題：?
?
可以看到回到了最初的原始問題. 定義目標(biāo)的原始值為.

一個(gè)略微不同的問題：?
?
下標(biāo)”D”表示”dual”.

2.3 對偶優(yōu)化問題(dual optimization problem)?
?
同樣的，定義目標(biāo)的對偶值為：

顯然：?
（函數(shù)最小值的最大值肯定小于等于最大值的最小值），在某些條件下，會有，因此我們可以通過解決原始問題來解決對偶問題.

假設(shè)f和g是凸函數(shù)（黑塞矩陣為半正定的），h為仿射函數(shù)(affine，和線性是一樣的，只不過是加了截距，). 假設(shè)g是嚴(yán)格可行的，就是說對于所有的i存在.

基于上面的假設(shè)，肯定存在使得w*是原始問題的解而是對偶問題的解. 而且，滿足KKT條件（Karush-Kuhn-Tucker condition）,如下：?
?
如果滿足KKT條件，那么就是原始問題和對偶問題的解.?
等式（5）稱為KKT對偶補(bǔ)充條件（KKT dual complementarity condition）. 具體來說，就是如果，那么0.

3.SVM對偶

前面為了找到最優(yōu)間隔分類器，提到以下的優(yōu)化問題（原始優(yōu)化）：?
?
限制可以寫為：?
?
?
（實(shí)線為超平面）?
最小的間隔是離決定邊界最近的點(diǎn)，上圖中有三個(gè)（一個(gè)負(fù)的兩個(gè)正的），因此對于我們的優(yōu)化問題只有三個(gè)a是不等于零的. (KKT對偶補(bǔ)充條件，只有，函數(shù)邊界才等于 1). 這三個(gè)點(diǎn)被稱為支持向量（support vector）.?支持向量的數(shù)量比訓(xùn)練樣本數(shù)量小很多在以后會非常有用.

為優(yōu)化問題構(gòu)建Lagrangian，有：?
?
對w求偏導(dǎo)：?
?
推出：?
?
對b求偏導(dǎo)：?

根據(jù)上面的式子化簡得到：?
?
最后一項(xiàng)為零，進(jìn)一步得到：?

得到以下對偶優(yōu)化問題：?
?
需要滿足d*和KKT條件來滿足我們的優(yōu)化問題. 因此我們可以通過解決原始問題來解決對偶問題. 原始w作為a的函數(shù)，已經(jīng)有了之后, 很容易得到截距b為：?
?
再得到：?
?
因此如果我們找到了a，為了預(yù)測，我們只需要計(jì)算x和數(shù)據(jù)集中點(diǎn)的內(nèi)積（）. 并且我們知道除了支持向量a都是零，因此我們只需要計(jì)算x和支持向量的內(nèi)積就可以進(jìn)行預(yù)測了.

4.核方法

有時(shí)候訓(xùn)練樣本的維數(shù)很高，甚至有可能得到的特征向量是無限維的. 通過計(jì)算不同方法的內(nèi)積，利用內(nèi)積來進(jìn)行有效的預(yù)測.

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的最优间隔分类器-SVM的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。