核函數

在邏輯回歸中，我們會通過多項式擴展來處理非線性分類問題：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1{x}_2+{\theta }_4{x}_1^2+{\theta }_5{x}_2^2+?$$

假設我們令：
$$f_1=x_1,f_2=x_2,f_3=x_1{x}_2,f_4=x_1^2,f_5=x_2^2$$

則預測函數為：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{f}_1+{\theta }_2{f}_2+{\theta }_3{f}_3+?$$

但多項式回歸所帶來的高階項不一定作用明顯，針對這一問題，SVM 不會引入高階項來作為新的特征，而是會選擇一些標記點（landmark），并將樣本 $x$ 與標記點 $l^{(i)}$ 的相似程度作為新的訓練特征 $f_i$ ：
$$f_i=similarity(x,l^{(i)})$$

距離度量的方式就稱之為核函數（Kernel），最常見的核函數是高斯核函數（Gaussian Kernel）：
$$f_i=exp(\frac{?||x?l^{(i)}|{|}^2}{2{\delta }^2})$$

在高斯核中，注意到：

• 如果樣本與標記點足夠接近，即 x≈l(i) ，則：
  $$f\approx exp(?\frac{0^2}{2{\delta }^2})\approx 1$$

• 如果樣本遠離標記點，則：
  $$f\approx exp(?\frac{(largenumber{)}^2}{2{\delta }^2})\approx 0$$

這一關系可以被如下的熱力圖所反映：

在使用高斯核函數前，需要做特征縮放（feature scaling），以使 SVM 同等程度地關注到不同的特征。

標記點選取

假定我們有如下的數據集：
$$(x^{(1)},y^{(1)})，(x^{(2)},y^{(2)})，(x^{(3)},y^{(3)})，?，(x^{(m)},y^{(m)})$$

我們就將每個樣本作為一個標記點：
$$l^{(1)}=x^{(1)}，l^{(2)}=x^{(2)}，l^{(3)}=x^{(3)}，?，l^{(m)}=x^{(m)}$$

則對于樣本 $(x^{(i)},y^{(i)})$ ，我們計算其與各個標記點的距離：
$$f_1^{(i)}=sim(x^{(i)},l^{(1)})$$$$f_2^{(i)}=sim(x^{(i)},l^{(2)})$$$$?$$$$f_m^{(i)}=sim(x^{(i)},l^{(3)})$$

得到新的特征向量： $f\in {\mathbb{R}}^{m+1}$
$$f=?\begin{array}{c}{f}_0\\ f_1\\ f_2\\ ?\\ f_m\end{array}?其中f_0=1$$

則具備核函數的 SVM 的訓練過程如下：
$$\underset{\theta }{\min }C[\sum _{i=1}^m{y}^{(i)}cos{t}_1({\theta }^T{f}^{(i)})+(1?y^{(i)})cos{t}_0({\theta }^T{f}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$

總結

以上是生活随笔為你收集整理的5.3 核函数-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。