參考引用：A Story of Basis and Kernel 來源：http://songcy.net/

向量與內(nèi)積

在一個(gè)

空間中，我們可以通過 個(gè)獨(dú)立向量的線性組合來表示這個(gè)空間里的任意向量。這些獨(dú)立的向量可以看作是空間里的一組基，基向量互相正交。比如 就是一組正交基向量（ 的第 個(gè)元素為 ，其余元素為 ）。

內(nèi)積運(yùn)算可以衡量?jī)蓚€(gè)向量的相似度

如果

以及 ，那么這兩個(gè)向量的內(nèi)積為

向量向函數(shù)的拓展

一個(gè)函數(shù)可以看作是無限維向量。

一個(gè)定義在區(qū)間

的函數(shù) ，我們可以以 為間隔對(duì)函數(shù)進(jìn)行采樣，從而將函數(shù)（由函數(shù)在不同點(diǎn)的取值組成）轉(zhuǎn)化為一個(gè)向量 ，當(dāng)采樣間隔趨于零時(shí)，這一向量就會(huì)無限趨近于函數(shù) （或者說可以用向量來表征函數(shù)）且此時(shí)向量的維度是無窮維的。

既然函數(shù)可以理解是一種特殊的向量，那么同樣可以近似定義函數(shù)的內(nèi)積

因?yàn)橄蛄康木S度都是離散整數(shù)，而函數(shù)的維度是連續(xù)的，用了normalization這里采用

表示相鄰維度的差。

在向量空間中，我們可以用一組基向量來表示任意向量，函數(shù)空間也可以用一組基函數(shù)來表征其他函數(shù)。但是向量空間的基向量是有限的，函數(shù)空間的基函數(shù)可能是無限的。函數(shù)空間的基函數(shù)也是要求互相正交的，兩個(gè)函數(shù)的內(nèi)積如果是零則表示兩個(gè)函數(shù)是正交的。

例子：Fourier Series

假設(shè)基函數(shù)為

， 為整數(shù)，且

定義在區(qū)間 。這些函數(shù)構(gòu)造了一個(gè)函數(shù)空間，且任意定義在 上的函數(shù)可以表示為這些基函數(shù)的線性組合。可以證明任意兩個(gè)基函數(shù)是正交的

其中

，基函數(shù)的長(zhǎng)度為 。

如果一個(gè)函數(shù)定義在此空間的區(qū)間

上，則可以表示為 ，對(duì)應(yīng)某一個(gè)點(diǎn) 的函數(shù)值為

因?yàn)?/p>

所以這些系數(shù)可以計(jì)算得到

也就是傅里葉級(jí)數(shù)。

核方法

核方法的目的在于將一個(gè)

上的向量映射到另外一個(gè)特征空間上，比如一個(gè)更高維的空間。此時(shí)一些非線性問題可以轉(zhuǎn)化為線性問題。

特征分解

考慮一個(gè)實(shí)對(duì)稱矩陣

，存在實(shí)數(shù) 以及向量 使得

則稱

是矩陣 的一個(gè)特征值， 是對(duì)應(yīng)的特征向量。如果 有兩個(gè)不同的特征值 以及對(duì)應(yīng)的特征向量 ，那么可以證明 ，即兩個(gè)特征向量是正交的。

更一般的，對(duì)于矩陣

，我們可以找到 個(gè)特征值以及 個(gè)正交的特征向量。使得矩陣可以分解為

其中

為正交矩陣（ ）， 。如果我們將 按列向量展開描述 ，則

其中

為 空間的一組正交基。

核函數(shù)

因?yàn)楹瘮?shù)

可以看作是一個(gè)無限維的向量，那么對(duì)于一個(gè)二元函數(shù) ，我們可以將其看做是一個(gè)無限維矩陣。如果這個(gè)函數(shù)滿足 且

對(duì)于任意函數(shù) 均成立。

則

是對(duì)稱正定的，在這種情況下它是一個(gè)核函數(shù)。

類比于矩陣的特征分解，存在特征值

以及特征函數(shù) 使得

對(duì)于不同的特征值

以及對(duì)應(yīng)的特征函數(shù) 有

因此有基函數(shù)的內(nèi)積為零

，即基函數(shù)是正交的。

對(duì)于一個(gè)核函數(shù)（無窮維矩陣），有無限多的特征值

以及對(duì)應(yīng)的基函數(shù) ，類似于矩陣我們可以得到

對(duì)應(yīng)核函數(shù)（無窮維矩陣）的某個(gè)元素有

這也就是Mercer定理。這里

。

再生核希爾伯特空間

將

看作是構(gòu)成希爾伯特空間 的一組正交基，那么任意在這個(gè)空間的一個(gè)點(diǎn)（函數(shù)）可以表示為這組基的線性組合。需要注意 表示一個(gè)函數(shù)， 表示函數(shù)在 的取值。

，即

對(duì)于任意函數(shù)，我們可以將其看作是一個(gè)無限維向量（函數(shù)在每一個(gè)輸入

的取值），這個(gè)函數(shù)的向量表示為 。這么一個(gè)無窮維向量對(duì)應(yīng)到空間的基表示為 （系數(shù)乘以基向量的形式），即對(duì)應(yīng)的“點(diǎn)”（系數(shù)）為 。

此時(shí)核函數(shù)的一行

（固定 ）可以表示為系數(shù)乘以基的形式

上式可以對(duì)照矩陣分解來理解，矩陣中的某一行對(duì)應(yīng) 的其中一行，所以第一個(gè)向量應(yīng)該只取一個(gè)元素；回到這里也就是核函數(shù)的某一行對(duì)應(yīng)的是 而不是 。

對(duì)應(yīng)的是一個(gè)無窮維向量

那么根據(jù)內(nèi)積的定義有

可以理解為內(nèi)積轉(zhuǎn)化為無窮維向量對(duì)應(yīng)元素相乘，再轉(zhuǎn)化為系數(shù)乘以基構(gòu)成一個(gè)函數(shù)后再取某一個(gè)元素 ，也就是函數(shù)在 的取值。

同樣可以推導(dǎo)（無窮維向量的對(duì)應(yīng)元素相乘）

這就是再生性質(zhì)，因此

稱為再生核希爾伯特空間。

如果我們定義

為從 映射到希爾伯特空間后的無窮維向量，則

也就是人們常說的通過核函數(shù)，我們可以將一個(gè)向量映射到再生核希爾伯特空間中的一個(gè)無窮維向量（函數(shù)）。

進(jìn)一步有

即兩個(gè)無窮維向量的內(nèi)積等于核函數(shù)在點(diǎn)

的取值。因此我們并不需要知道這個(gè)映射是什么，這個(gè)特征空間在哪里，這個(gè)特征空間的基函數(shù)是什么。就可以求得無窮維空間上的內(nèi)積。

這也被稱作核技巧。

總結(jié)

以上是生活随笔為你收集整理的再生希尔伯特空间_向量、函数向量、再生核希尔伯特空间、核技巧的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。