白化

Contents ?[hide] 1?介紹 2?2D 的例子 3?ZCA白化 4?正則化 5?中英文對照 6?中文譯者

介紹

我們已經(jīng)了解了如何使用PCA降低數(shù)據(jù)維度。在一些算法中還需要一個(gè)與之相關(guān)的預(yù)處理步驟，這個(gè)預(yù)處理過程稱為白化（一些文獻(xiàn)中也叫sphering）。舉例來說，假設(shè)訓(xùn)練數(shù)據(jù)是圖像，由于圖像中相鄰像素之間具有很強(qiáng)的相關(guān)性，所以用于訓(xùn)練時(shí)輸入是冗余的。白化的目的就是降低輸入的冗余性；更正式的說，我們希望通過白化過程使得學(xué)習(xí)算法的輸入具有如下性質(zhì)：(i)特征之間相關(guān)性較低；(ii)所有特征具有相同的方差。

2D 的例子

下面我們先用前文的2D例子描述白化的主要思想，然后分別介紹如何將白化與平滑和PCA相結(jié)合。

如何消除輸入特征之間的相關(guān)性? 在前文計(jì)算??時(shí)實(shí)際上已經(jīng)消除了輸入特征之間的相關(guān)性。得到的新特征??的分布如下圖所示：

這個(gè)數(shù)據(jù)的協(xié)方差矩陣如下：

(注: 嚴(yán)格地講, 這部分許多關(guān)于“協(xié)方差”的陳述僅當(dāng)數(shù)據(jù)均值為0時(shí)成立。下文的論述都隱式地假定這一條件成立。不過即使數(shù)據(jù)均值不為0，下文的說法仍然成立，所以你無需擔(dān)心這個(gè)。)

?協(xié)方差矩陣對角元素的值為??和??絕非偶然。并且非對角元素值為0; 因此,??和??是不相關(guān)的, 滿足我們對白化結(jié)果的第一個(gè)要求 (特征間相關(guān)性降低)。

為了使每個(gè)輸入特征具有單位方差，我們可以直接使用??作為縮放因子來縮放每個(gè)特征??。具體地，我們定義白化后的數(shù)據(jù)??如下：

繪制出??，我們得到:

這些數(shù)據(jù)現(xiàn)在的協(xié)方差矩陣為單位矩陣??。我們說，?是數(shù)據(jù)經(jīng)過PCA白化后的版本:??中不同的特征之間不相關(guān)并且具有單位方差。

白化與降維相結(jié)合。 如果你想要得到經(jīng)過白化后的數(shù)據(jù)，并且比初始輸入維數(shù)更低,可以僅保留??中前??個(gè)成分。當(dāng)我們把PCA白化和正則化結(jié)合起來時(shí)(在稍后討論)，中最后的少量成分將總是接近于0，因而舍棄這些成分不會(huì)帶來很大的問題。

ZCA白化

最后要說明的是，使數(shù)據(jù)的協(xié)方差矩陣變?yōu)閱挝痪仃??的方式并不唯一。具體地，如果??是任意正交矩陣，即滿足??(說它正交不太嚴(yán)格，?可以是旋轉(zhuǎn)或反射矩陣), 那么??仍然具有單位協(xié)方差。在ZCA白化中，令??。我們定義ZCA白化的結(jié)果為：

繪制?，得到:

可以證明，對所有可能的?，這種旋轉(zhuǎn)使得??盡可能地接近原始輸入數(shù)據(jù)??。

當(dāng)使用 ZCA白化時(shí)(不同于 PCA白化)，我們通常保留數(shù)據(jù)的全部??個(gè)維度，不嘗試去降低它的維數(shù)。

正則化

實(shí)踐中需要實(shí)現(xiàn)PCA白化或ZCA白化時(shí)，有時(shí)一些特征值??在數(shù)值上接近于0，這樣在縮放步驟時(shí)我們除以??將導(dǎo)致除以一個(gè)接近0的值；這可能使數(shù)據(jù)上溢 (賦為大數(shù)值)或造成數(shù)值不穩(wěn)定。因而在實(shí)踐中，我們使用少量的正則化實(shí)現(xiàn)這個(gè)縮放過程，即在取平方根和倒數(shù)之前給特征值加上一個(gè)很小的常數(shù)?：

當(dāng)??在區(qū)間??上時(shí), 一般取值為?。

對圖像來說, 這里加上??，對輸入圖像也有一些平滑(或低通濾波)的作用。這樣處理還能消除在圖像的像素信息獲取過程中產(chǎn)生的噪聲，改善學(xué)習(xí)到的特征(細(xì)節(jié)超出了本文的范圍)。

ZCA 白化是一種數(shù)據(jù)預(yù)處理方法，它將數(shù)據(jù)從??映射到??。 事實(shí)證明這也是一種生物眼睛(視網(wǎng)膜)處理圖像的粗糙模型。具體而言，當(dāng)你的眼睛感知圖像時(shí)，由于一幅圖像中相鄰的部分在亮度上十分相關(guān)，大多數(shù)臨近的“像素”在眼中被感知為相近的值。因此，如果人眼需要分別傳輸每個(gè)像素值（通過視覺神經(jīng)）到大腦中，會(huì)非常不劃算。取而代之的是，視網(wǎng)膜進(jìn)行一個(gè)與ZCA中相似的去相關(guān)操作 (這是由視網(wǎng)膜上的ON-型和OFF-型光感受器細(xì)胞將光信號轉(zhuǎn)變?yōu)樯窠?jīng)信號完成的)。由此得到對輸入圖像的更低冗余的表示，并將它傳輸?shù)酱竽X。

中英文對照

白化 whitening

冗余 redundant

方差 variance

平滑 smoothing

降維 dimensionality reduction

正則化 regularization

反射矩陣 reflection matrix

去相關(guān) decorrelation

總結(jié)

以上是生活随笔為你收集整理的白话(whitening)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。