華電北風(fēng)吹
天津大學(xué)認(rèn)知計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室
日期：2015/11/13

什么是核?
xi,xj∈RN，模型中遇到的關(guān)于xi,xj的計(jì)算全部是<xi,xj><script type="math/tex" id="MathJax-Element-201"></script>，若在N維中得不到想要的效果，就可以利用核函數(shù)，將原本是N維的內(nèi)積運(yùn)算映射到高維空間，甚至是無(wú)限維。
K(xi,xj)=<?(xi),?(xj)>(0)

一、線性核函數(shù)
線性核函數(shù)計(jì)算公式為
K(xi,xj)=xTixj(1-1)
可以看出，線性核函數(shù)就是原始的內(nèi)積運(yùn)算，并沒(méi)有提升到高維空間。

二、多項(xiàng)式核函數(shù)
多項(xiàng)式核函數(shù)計(jì)算公式為
K(xi,xj)=(γ×xTixj+c)d(2-1)
可以看一個(gè)簡(jiǎn)單的多項(xiàng)式核函數(shù)例子：
K(xi,xj)=(xTixj+c)2
=∑Np,q=1(xpixqi)(xpjxqj)+∑Np=1(2c??√xi)(2c??√xj)+c2
若N=3，可以得到(維度為10)
?(xi)=[x(1)ix(1)i,x(1)ix(2)i,x(1)ix(3)i,x(2)ix(1)i,x(2)ix(2)i,x(2)ix(3)i,x(3)ix(1)i,x(3)ix(2)i,x(3)ix(3)i,2c??√x1,2c??√x2,2c??√x3,c]T
可以驗(yàn)證，映射后高維空間的維數(shù)是CdN+d。

三、徑向基核函數(shù)(Radial Basis Function)
徑向基核函數(shù)利用公式(3-1)對(duì)N維向量xi,xj的內(nèi)積擴(kuò)展到無(wú)限維向量?(xi),?(xj)的內(nèi)積。
K(xi,xj)=e?γ||xi?xj||2(3-1)
其中
?(x)=e?γx2[1,(2γ)1!???√x,(2γ)22!????√x2,(2γ)33!????√x3,...,(2γ)kk!????√xk,...]T(3-2)
下面對(duì)此公式進(jìn)行簡(jiǎn)要推導(dǎo)解釋：
e?γ||xi?xj||2
=e?γx2i+2γxTixj?γx2j
=e?γx2i?γx2j×e2γxTixj
=e?γx2i?γx2j×(1+2γxTixj+(2γxTixj)22!+(2γxTixj)33!+...+(2γxTixj)kk!+...)
=e?γx2i?γx2j×(1+2γ??√xTi2γ??√xj+(2γ)22!????√(xTi)2(2γ)22!????√x2j+(2γ)33!????√(xTi)3(2γ)33!????√x3j+...+(2γ)kk!????√(xTi)k(2γ)kk!????√xkj+...)
=e?γx2i×[1+2γ??√xTi+(2γ)22!????√(xTi)2+(2γ)33!????√(xTi)3+...+(2γ)kk!????√(xTi)k+...]
?e?γx2j×[1+2γ??√xj+(2γ)22!????√x2j+(2γ)33!????√x3j+...+(2γ)kk!????√xkj+...]
=?(xi)T?(xj)

總結(jié)

以上是生活随笔為你收集整理的ML—核技巧的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。