前言：

假設(shè)空間

??????? 一個古老的哲學(xué)原理：世界并不是以小包的形式來到我們面前，除非遍歷整個空間，任何訓(xùn)練得到的模型都是過擬合的。面對學(xué)習(xí)問題，首先面對這一個空間的認(rèn)知問題，對空間結(jié)構(gòu)的認(rèn)識來自于接口，而全面的認(rèn)識來自于遍歷。

??????? 在認(rèn)識一個未知空間之前，一般的套路是由接口獲取的數(shù)據(jù)對這個空間進(jìn)行簡單假設(shè)，迭代修改理解規(guī)則，最后到遍歷。

?????? 參考鏈接：深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT條件

線性不可分

??????? 實(shí)際中，我們會經(jīng)常遇到線性不可分的樣例，此時，我們的常用做法是把樣例特征映射到高維空間中去(如下圖)，而不是去改善特征提取的工作，從本質(zhì)上使特征在特征空間中直接線性可分；

??????

圖1 在二維向量空間中的樣本嵌入到三維空間中是線性可分的

??????? 線性不可分映射到高維空間，可能會導(dǎo)致維度大小高到可怕的(19維乃至無窮維的例子)，導(dǎo)致計(jì)算復(fù)雜。核函數(shù)的價值在于它雖然也是講特征進(jìn)行從低維到高維的轉(zhuǎn)換，但核函數(shù)絕就絕在它事先在低維上進(jìn)行計(jì)算，而將實(shí)質(zhì)上的分類效果表現(xiàn)在了高維上，也就如上文所說的避免了直接在高維空間中的復(fù)雜計(jì)算。

???????

視野、假設(shè)與事實(shí)的矛盾

??????? 從可見樣本歸納出假設(shè)空間，與事實(shí)空間一般不會相同，這就意味著泛化是個概率性的問題。在圖1中的例子中可以看出，嚴(yán)格來說，符合專家直覺特征提取過程并不符合甚至可視樣本空間的要求，二維線性不可分映射到三維向量空間線性可分是對特征提取的彌補(bǔ)。

??????? 一切直覺可計(jì)算的，便是遞歸可計(jì)算的。既然符合直覺的特征提取看似永遠(yuǎn)不能滿足僅僅是可見樣本空間的要求，就使用一勞永逸的方案，使用模型來解決特征空間的可描述性。

核函數(shù)與近鄰法

???? ? ? 由特征提取得到的向量集合，嵌入到原本向量空間，并非線性可分時，也擁有一般規(guī)律，為近鄰特性。原本的向量空間的歐式度量可能不能描述這種歐式特性，描述這種隱含的近鄰特性的方式是引入核函數(shù)：

???????? 對于二分類問題，標(biāo)簽為1和2，類別模型 M1 和 M2；任意N維特征向量 X1, X2，

????? ?? 期望： ? if （f(X1,M1)? <?f( X1, M2 ) ） 則? X1為類別1；

??????????????????????????????????????????????????????? ? ? ? ? ? ? ?????? 其中f(x)為歐式度量

?????? ? 但是此種情況一般是不成立的，人工提取的特征向量在表示樣本時并非能維持相對于真實(shí)屬性的近鄰特性，那么 期望是不成立的。我們希望一種從樣本到特征的映射能保證樣本屬于類別的近鄰特性，這就引入核函數(shù)。

???????? 期望：if （K(f(X1,M1))? <? K(f( X1, M2 )) ） 則? X1為類別1；

??????????????????????????????????????????????????????? ? ? ? ? ? ? ?????? 其中K()為核函數(shù)，為滿足樣本的（相對于樣本類別屬性）真實(shí)近鄰特性而產(chǎn)生。

????????

繞過核函數(shù)使用近鄰法

??????? 下面就從公式層面進(jìn)行推導(dǎo)，以核函數(shù)為中介，繞過核函數(shù)，直接使用近鄰法進(jìn)行支持向量機(jī)的模型訓(xùn)練。

一、線性可分的向量機(jī)模型使用近鄰法

??????? 在二分類樣本+1,-1樣本空間中，劃分超平面可以使用以下線性方程：

?? ? ??? 其中w = ( w1,w2,....,wd )為法向量，決定超平面的方向；b為位移項(xiàng)，決定了超平面到原點(diǎn)間的距離。記作（w，b）。

??? ? ? 樣本空間中任一點(diǎn)x到超平面（w,b），距離可寫為：

?? ? ???若超平面能將訓(xùn)練樣本正確分類，即對于（xi，yi）∈D,

????

?? ? ???線性可分即為能夠完全使用超平面進(jìn)行分類，滿足上式的要求

???????????? ? ? ? 其中紅色虛線上的點(diǎn) 為滿足公式1 ?yi = +1 wTx+b=0 的點(diǎn)

?? ? ? ? ? ? ? ?? 其中藍(lán)色虛線上的點(diǎn) 為滿足公式2 ?yi = -1?? wTx+b=0的點(diǎn)，兩個虛線上的點(diǎn)被稱之為“支持向量”。

?? ? ???兩個異類支持向量到超平面的距離之和為：

?? ? ???被稱為“間隔”。

?? ? ???直覺上可以得到，兩類支持向量（紅色虛線和藍(lán)色虛線）的(兩類邊緣最近鄰)中間位置（黑色實(shí)線）是最適合的分類超平面，即是“最大間隔”的分類超平面。

?? ? ???這就等價于，滿足公式1公式2約束的參數(shù)w和b，使得r最大，即

??????????

??????

?

?? ? ????這就是線性支持向量機(jī)的基本形式

收縮樣本到支持向量：

??? ?? 公式4本身就是一個凸二次規(guī)劃問題，可以使用凸二次規(guī)劃的方法來解決。既然直覺上可以僅使用支持向量，那么理論上可以轉(zhuǎn)化成僅使用支持向量的形式。

?????? 使用拉格朗日乘子法得到其等價問題：

????

?????? 帶入公式6到公式5，可將L(w,b,a)中的w和b消去

????? 這個就是我們需要最終優(yōu)化的式子。至此，得到了線性可分問題的優(yōu)化式子。

?????? 求解這個式子，有很多的方法，比如SMO等等，個人認(rèn)為，求解這樣的一個帶約束的凸優(yōu)化問題與得到這個凸優(yōu)化問題是比較獨(dú)立的兩件事情。

??? ?? 利用標(biāo)注樣本，可以求解出a，根據(jù)公式6，可以得到原模型

收縮樣本到支持向量：

??? ?? 根據(jù)式4中的約束不等式，拉格朗日方法在使用過程中必須滿足：

????? a_i為拉格朗日乘子，限定公式9-1；公式9-3為極值條件；公式9-2為樣本限定條件；

??????可以得出：

??????若a_i=0,則樣本的拉格朗日乘子為0，樣本不參與公式8-2（由公式5計(jì)算得到）計(jì)算；若ai>0,則y_if(x_i)=1，對應(yīng)的樣本為邊界樣本。這樣僅留下y_if(x_i)=1的邊界（x_i,y_i）樣本，即是支持向量。

總結(jié)

以上是生活随笔為你收集整理的支持向量机的近邻理解：图像二分类为例（2）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。