再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧
向量與內(nèi)積
在一個(gè)
空間中,我們可以通過 個(gè)獨(dú)立向量的線性組合來表示這個(gè)空間里的任意向量。這些獨(dú)立的向量可以看作是空間里的一組基,基向量互相正交。比如 就是一組正交基向量( 的第 個(gè)元素為 ,其余元素為 )。內(nèi)積運(yùn)算可以衡量?jī)蓚€(gè)向量的相似度
如果
以及 ,那么這兩個(gè)向量的內(nèi)積為向量向函數(shù)的拓展
一個(gè)函數(shù)可以看作是無限維向量。
一個(gè)定義在區(qū)間
的函數(shù) ,我們可以以 為間隔對(duì)函數(shù)進(jìn)行采樣,從而將函數(shù)(由函數(shù)在不同點(diǎn)的取值組成)轉(zhuǎn)化為一個(gè)向量 ,當(dāng)采樣間隔趨于零時(shí),這一向量就會(huì)無限趨近于函數(shù) (或者說可以用向量來表征函數(shù))且此時(shí)向量的維度是無窮維的。既然函數(shù)可以理解是一種特殊的向量,那么同樣可以近似定義函數(shù)的內(nèi)積
因?yàn)橄蛄康木S度都是離散整數(shù),而函數(shù)的維度是連續(xù)的,用了normalization這里采用
表示相鄰維度的差。在向量空間中,我們可以用一組基向量來表示任意向量,函數(shù)空間也可以用一組基函數(shù)來表征其他函數(shù)。但是向量空間的基向量是有限的,函數(shù)空間的基函數(shù)可能是無限的。函數(shù)空間的基函數(shù)也是要求互相正交的,兩個(gè)函數(shù)的內(nèi)積如果是零則表示兩個(gè)函數(shù)是正交的。
例子:Fourier Series
假設(shè)基函數(shù)為
, 為整數(shù),且 定義在區(qū)間 。這些函數(shù)構(gòu)造了一個(gè)函數(shù)空間,且任意定義在 上的函數(shù)可以表示為這些基函數(shù)的線性組合。可以證明任意兩個(gè)基函數(shù)是正交的其中
,基函數(shù)的長(zhǎng)度為 。如果一個(gè)函數(shù)定義在此空間的區(qū)間
上,則可以表示為 ,對(duì)應(yīng)某一個(gè)點(diǎn) 的函數(shù)值為因?yàn)?/p>
所以這些系數(shù)可以計(jì)算得到
也就是傅里葉級(jí)數(shù)。
核方法
核方法的目的在于將一個(gè)
上的向量映射到另外一個(gè)特征空間上,比如一個(gè)更高維的空間。此時(shí)一些非線性問題可以轉(zhuǎn)化為線性問題。特征分解
考慮一個(gè)實(shí)對(duì)稱矩陣
,存在實(shí)數(shù) 以及向量 使得則稱
是矩陣 的一個(gè)特征值, 是對(duì)應(yīng)的特征向量。如果 有兩個(gè)不同的特征值 以及對(duì)應(yīng)的特征向量 ,那么可以證明 ,即兩個(gè)特征向量是正交的。更一般的,對(duì)于矩陣
,我們可以找到 個(gè)特征值以及 個(gè)正交的特征向量。使得矩陣可以分解為其中
為正交矩陣( ), 。如果我們將 按列向量展開描述 ,則其中
為 空間的一組正交基。核函數(shù)
因?yàn)楹瘮?shù)
可以看作是一個(gè)無限維的向量,那么對(duì)于一個(gè)二元函數(shù) ,我們可以將其看做是一個(gè)無限維矩陣。如果這個(gè)函數(shù)滿足 且 對(duì)于任意函數(shù) 均成立。則
是對(duì)稱正定的,在這種情況下它是一個(gè)核函數(shù)。類比于矩陣的特征分解,存在特征值
以及特征函數(shù) 使得對(duì)于不同的特征值
以及對(duì)應(yīng)的特征函數(shù) 有因此有基函數(shù)的內(nèi)積為零
,即基函數(shù)是正交的。對(duì)于一個(gè)核函數(shù)(無窮維矩陣),有無限多的特征值
以及對(duì)應(yīng)的基函數(shù) ,類似于矩陣我們可以得到對(duì)應(yīng)核函數(shù)(無窮維矩陣)的某個(gè)元素有
這也就是Mercer定理。這里
。再生核希爾伯特空間
將
看作是構(gòu)成希爾伯特空間 的一組正交基,那么任意在這個(gè)空間的一個(gè)點(diǎn)(函數(shù))可以表示為這組基的線性組合。需要注意 表示一個(gè)函數(shù), 表示函數(shù)在 的取值。 ,即對(duì)于任意函數(shù),我們可以將其看作是一個(gè)無限維向量(函數(shù)在每一個(gè)輸入
的取值),這個(gè)函數(shù)的向量表示為 。這么一個(gè)無窮維向量對(duì)應(yīng)到空間的基表示為 (系數(shù)乘以基向量的形式),即對(duì)應(yīng)的“點(diǎn)”(系數(shù))為 。此時(shí)核函數(shù)的一行
(固定 )可以表示為系數(shù)乘以基的形式上式可以對(duì)照矩陣分解來理解,矩陣中的某一行對(duì)應(yīng) 的其中一行,所以第一個(gè)向量應(yīng)該只取一個(gè)元素;回到這里也就是核函數(shù)的某一行對(duì)應(yīng)的是 而不是 。對(duì)應(yīng)的是一個(gè)無窮維向量
那么根據(jù)內(nèi)積的定義有
可以理解為內(nèi)積轉(zhuǎn)化為無窮維向量對(duì)應(yīng)元素相乘,再轉(zhuǎn)化為系數(shù)乘以基構(gòu)成一個(gè)函數(shù)后再取某一個(gè)元素 ,也就是函數(shù)在 的取值。同樣可以推導(dǎo)(無窮維向量的對(duì)應(yīng)元素相乘)
這就是再生性質(zhì),因此
稱為再生核希爾伯特空間。如果我們定義
為從 映射到希爾伯特空間后的無窮維向量,則也就是人們常說的通過核函數(shù),我們可以將一個(gè)向量映射到再生核希爾伯特空間中的一個(gè)無窮維向量(函數(shù))。
進(jìn)一步有
即兩個(gè)無窮維向量的內(nèi)積等于核函數(shù)在點(diǎn)
的取值。因此我們并不需要知道這個(gè)映射是什么,這個(gè)特征空間在哪里,這個(gè)特征空間的基函數(shù)是什么。就可以求得無窮維空間上的內(nèi)積。這也被稱作核技巧。
總結(jié)
以上是生活随笔為你收集整理的再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 小波变换原理_小波变换的知识,转载的
- 下一篇: ksweb如何安装php5.6_Andr