從特征分解到協(xié)方差矩陣：詳細剖析和實現(xiàn)PCA算法

本文先簡要明了地介紹了特征向量和其與矩陣的關(guān)系，然后再以其為基礎(chǔ)解釋協(xié)方差矩陣和主成分分析法的基本概念，最后我們結(jié)合協(xié)方差矩陣和主成分分析法實現(xiàn)數(shù)據(jù)降維。本文不僅僅是從理論上闡述各種重要概念，同時最后還一步步使用 Python 實現(xiàn)數(shù)據(jù)降維。

首先本文的特征向量是數(shù)學(xué)概念上的特征向量，并不是指由輸入特征值所組成的向量。數(shù)學(xué)上，線性變換的特征向量是一個非簡并的向量，其方向在該變換下不變。該向量在此變換下縮放的比例稱為特征值。一個線性變換通常可以由其特征值和特征向量完全描述。如果我們將矩陣看作物理運動，那么最重要的就是運動方向（特征向量）和速度（特征值）。因為物理運動只需要方向和速度就可以描述，同理矩陣也可以僅使用特征向量和特征值描述。

其實在線性代數(shù)中，矩陣就是一個由各種標(biāo)量或變量構(gòu)成的表格，它和 Excel 表格并沒有什么本質(zhì)上的區(qū)別。只不過數(shù)學(xué)上定義了一些矩陣間的運算，矩陣運算的法則和實際內(nèi)部的值并沒有什么關(guān)系，只不過定義了在運算時哪些位置需要進行哪些操作。因為矩陣相當(dāng)于定義了一系列運算法則的表格，那么其實它就相當(dāng)于一個變換，這個變換（物理運動）可以由特征向量（方向）和特征值（速度）完全描述出來。

線性變換 ?

在解釋線性變換前，我們需要先了解矩陣運算到底是什么。因為我們可以對矩陣中的值統(tǒng)一進行如加法或乘法等運算，所以矩陣是十分高效和有用的。如下所示，如果我們將向量 v 左乘矩陣 A，我們就會得到新的向量 b，也即可以表述說矩陣 A 對輸入向量 v 執(zhí)行了一次線性變換，且線性變換結(jié)果為 b。因此矩陣運算 Av = b 就代表向量 v 通過一個變換（矩陣 A）得到向量 b。下面的實例展示了矩陣乘法（該類型的乘法稱之為點積）是怎樣進行的：

所以矩陣 A 將向量 v 變換為向量 b。下圖展示了矩陣 A 如何將更短更低的向量 v 映射到更長更高的向量 b：

我們可以饋送其他正向量到矩陣 A 中，每一個饋送的向量都會投影到新的空間中且向右邊變得更高更長。

假定所有的輸入向量 V 可以排列為一個標(biāo)準(zhǔn)表格，即：

而矩陣可以將所有的輸入向量 V 投影為如下所示的新空間，也即所有輸出向量組成的 B：

下圖可以看到輸入向量空間和輸出向量空間的關(guān)系，

如果假設(shè)矩陣就是一陣風(fēng)，它通過有形的力量得出可見的結(jié)果。而這一陣風(fēng)所吹向的方向就是特征向量，因此特征向量就表明矩陣所要變換的方向。

如上圖所示，特征向量并不會改變方向，它已經(jīng)指向了矩陣想要將所有輸入向量都推向的方向。因此，特征向量的數(shù)學(xué)定義為：存在非零矩陣 A 和標(biāo)量λ，若有向量 x 且滿足以下關(guān)系式，那么 x 就為特征向量、λ為特征值。

特征向量同樣是線性變換的不變軸，所有輸入向量沿著這條軸壓縮或延伸。線性變換中的線性正是表明了這種沿直線軸進行變換的特性，一般來說幾階方陣就有幾個特征向量，如 3*3 矩陣有 3 個特征向量，n 階方陣有 n 個特征向量，每一個特征向量表征一個維度上的線性變換方向。

因為特征向量提取出了矩陣變換的主要信息，因此它在矩陣分解中十分重要，即沿著特征向量對角化矩陣。因為這些特征向量表征著矩陣的重要特性，所以它們可以執(zhí)行與深度神經(jīng)網(wǎng)絡(luò)中自編碼器相類似的任務(wù)。引用 Yoshua Bengio 的話來說：

許多數(shù)學(xué)對象可以通過分解為更基礎(chǔ)的組成部分而有更好的理解，因為我們會發(fā)現(xiàn)它們的一些廣泛性屬性，而不是我們選擇表征它們的特性。例如整數(shù)可以分解為質(zhì)因數(shù)，雖然我們表征整數(shù)的方式會因為采用二進制還是十進制而改變，但整數(shù)總可以由幾個質(zhì)因數(shù)表示（如 12=2 × 2 × 3），因此這種分解的性質(zhì)正好是我們所需要的穩(wěn)定性質(zhì)。

我們可以分解一個整數(shù)為質(zhì)因數(shù)而得到其自然屬性，同樣我們也可以分解矩陣以得到它的功能性屬性，并且這種屬性信息在矩陣表示為多組元素的陣列下是不明顯的。矩陣分解最常見的是特征分解（eigen-decomposition），即我們將矩陣分解為一系列的特征向量和特征值。

主成分分析（PCA）

PCA 是一種尋找高維數(shù)據(jù)（圖像等）模式的工具。機器學(xué)習(xí)實踐上經(jīng)常使用 PCA 對輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)進行預(yù)處理。通過聚集、旋轉(zhuǎn)和縮放數(shù)據(jù)，PCA 算法可以去除一些低方差的維度而達到降維的效果，這樣操作能提升神經(jīng)網(wǎng)絡(luò)的收斂速度和整體效果。

為了進一步了解 PCA 算法，我們還需要定義一些基本的統(tǒng)計學(xué)概念，即均值、標(biāo)準(zhǔn)差、方差和協(xié)方差。

樣本均值可簡單的表示為所有樣本 X 的平均值，如下所示樣本均值表示為：

樣本標(biāo)準(zhǔn)差即樣本方差的平方根。即每一樣本點到樣本均值之間的平均距離。n 個樣本的方差卻只除以 n-1 是因為樣本只是真實分布的估計量，樣本方差也只是真實方差的估計量。在大學(xué)課本概率論和數(shù)理統(tǒng)計中有證明，如果除以 n（2 階中心矩），那么樣本方差是真實方差的一致性估計，但并不是無偏估計，也就是樣本方差存在系統(tǒng)偏差。因此我們需要對 2 階中心矩進行調(diào)整以消除系統(tǒng)偏差。如下所示，樣本的標(biāo)準(zhǔn)差 s 和方差 var(X) 都是無偏估計：

因為樣本標(biāo)準(zhǔn)差和方差都是先求距離的平方再求平方根，因此距離一定是正數(shù)且不會抵消。假設(shè)我們有如下數(shù)據(jù)點（散點圖）：

PCA 如線性回歸那樣會嘗試構(gòu)建一條可解釋性的直線貫穿所有數(shù)據(jù)點。每一條直線表示一個「主成分」或表示自變量和因變量間的關(guān)系。數(shù)據(jù)的維度數(shù)就是主成分的數(shù)量，也即每一個數(shù)據(jù)點的特征維度。PCA 的作用就是分析這些特征，并選出最重要的特征。PCA 本質(zhì)上是將方差最大的方向作為主要特征，并且在各個正交方向上將數(shù)據(jù)「去相關(guān)」，也就是讓它們在不同正交方向上沒有相關(guān)性。通常我們認(rèn)為信息具有較大的方差，而噪聲有較小的方差，信噪比就是信號與噪聲的方差比，所以我們希望投影后的數(shù)據(jù)方差越大越好。因此我們認(rèn)為，最好的 k 維特征是將 n 維樣本點轉(zhuǎn)換為 k 維后，每一維上的樣本方差都很大。

如下圖所示，第一個主成分以直線（紅色）的形式將散點圖分為兩邊，并且它是保留了最大方差的。因為投影到這條直線（紅色）上數(shù)據(jù)點離均值（空心點）有最大的方差，即所有藍點到灰色線的平均距離為最大方差，所以這一個主成分將保留最多的信息。

如上所示，假設(shè)第二個主成分為垂直于紅線（第一個主成分）的灰色線。當(dāng)數(shù)據(jù)點投影到第二個主成分上時，它們離樣本均值（空心點）的方差卻非常小，即數(shù)據(jù)點到紅色線的平均距離。所以紅色線是最優(yōu)的主成分。

協(xié)方差矩陣

前面我們已經(jīng)了解矩陣其實就是一種將某個向量變換為另一個的方法，另外我們也可以將矩陣看作作用于所有數(shù)據(jù)并朝向某個方向的力。同時我們還知道了變量間的相關(guān)性可以由方差和協(xié)方差表達，并且我們希望保留最大方差以實現(xiàn)最優(yōu)的降維。因此我們希望能將方差和協(xié)方差統(tǒng)一表示，并且兩者均可以表示為內(nèi)積的形式，而內(nèi)積又與矩陣乘法密切相關(guān)。因此我們可以采用矩陣乘法的形式表示。若輸入矩陣 X 有兩個特征 a 和 b，且共有 m 個樣本，那么有：

如果我們用 X 左乘 X 的轉(zhuǎn)置，那么就可以得出協(xié)方差矩陣：

這個矩陣對角線上的兩個元素分別是兩特征的方差，而其它元素是 a 和 b 的協(xié)方差。兩者被統(tǒng)一到了一個矩陣的，因此我們可以利用協(xié)方差矩陣描述數(shù)據(jù)點之間的方差和協(xié)方差，即經(jīng)驗性地描述我們觀察到的數(shù)據(jù)。

尋找協(xié)方差矩陣的特征向量和特征值就等價于擬合一條能保留最大方差的直線或主成分。因為特征向量追蹤到了主成分的方向，而最大方差和協(xié)方差的軸線表明了數(shù)據(jù)最容易改變的方向。根據(jù)上述推導(dǎo)，我們發(fā)現(xiàn)達到優(yōu)化目標(biāo)就等價于將協(xié)方差矩陣對角化：即除對角線外的其它元素化為 0，并且在對角線上將特征值按大小從上到下排列。協(xié)方差矩陣作為實對稱矩陣，其主要性質(zhì)之一就是可以正交對角化，因此就一定可以分解為特征向量和特征值。

當(dāng)協(xié)方差矩陣分解為特征向量和特征值之后，特征向量表示著變換方向，而特征值表示著伸縮尺度。在本例中，特征值描述著數(shù)據(jù)間的協(xié)方差。我們可以按照特征值的大小降序排列特征向量，如此我們就按照重要性的次序得到了主成分排列。

對于 2 階方陣，一個協(xié)方差矩陣可能如下所示：

在上面的協(xié)方差矩陣中，1.07 和 0.64 分別代表變量 x 和變量 y 的方差，而副對角線上的 0.63 代表著變量 x 和 y 之間的協(xié)方差。因為協(xié)方差矩陣為實對稱矩陣（即 Aij=Aji），所以其必定可以通過正交化相似對角化。因為這兩個變量的協(xié)方差為正值，所以這兩個變量的分布成正相關(guān)性。如下圖所示，如果協(xié)方差為負(fù)值，那么變量間就成負(fù)相關(guān)性。

注意如果變量間的協(xié)方差為零，那么變量是沒有相關(guān)性的，并且也沒有線性關(guān)系。因此，如果兩個變量的協(xié)方差越大，相關(guān)性越大，投影到主成分后的損失就越小。我們同時可以考慮協(xié)方差和方差的計算式而了解他們的關(guān)系：

計算協(xié)方差的優(yōu)處在于我們可以通過協(xié)方差的正值、負(fù)值或零值考察兩個變量在高維空間中相互關(guān)系。總的來說，協(xié)方差矩陣定義了數(shù)據(jù)的形狀，協(xié)方差決定了沿對角線對稱分布的強度，而方差決定了沿 x 軸或 y 軸對稱分布的趨勢。

基變換

因為協(xié)方差矩陣的特征向量都是彼此正交的，所以變換就相當(dāng)于將 x 軸和 y 軸兩個基軸換為主成分一個基軸。也就是將數(shù)據(jù)集的坐標(biāo)系重新變換為由主成分作為基軸的新空間，當(dāng)然這些主成分都保留了最大的方差。

我們上面所述的 x 軸和 y 軸稱之為矩陣的基，即矩陣所有的值都是在這兩個基上度量而來的。但矩陣的基是可以改變的，通常一組特征向量就可以組成該矩陣一組不同的基坐標(biāo)，原矩陣的元素可以在這一組新的基中表達。

在上圖中，我們展示了相同向量 v 如何在不同的坐標(biāo)系中有不同的表達。黑色實線代表 x-y 軸坐標(biāo)系而紅色虛線是另外一個坐標(biāo)系。在第一個坐標(biāo)系中 v = (1,1)，而在第二個坐標(biāo)系中 v = (1,0)。因此矩陣和向量可以在不同坐標(biāo)系中等價變換。在數(shù)學(xué)上，n 維空間并沒有唯一的描述，所以等價轉(zhuǎn)換矩陣的基也許可以令問題更容易解決。

最后我們簡單地總結(jié)一下 PCA 算法的基本概念和步驟：

首先我們得理解矩陣就相當(dāng)于一個變換，變換的方向為特征向量，變換的尺度為特征值。PCA 的本質(zhì)是將方差最大的方向作為主要特征，并且在各個正交方向上將數(shù)據(jù)「去相關(guān)」，即讓它們在不同正交方向上沒有相關(guān)性。所以我們希望將最相關(guān)的特征投影到一個主成分上而達到降維的效果，投影的標(biāo)準(zhǔn)是保留最大方差。而在實際操作中，我們希望計算特征之間的協(xié)方差矩陣，并通過對協(xié)方差矩陣的特征分解而得出特征向量和特征值。如果我們將特征值由大到小排列，相對應(yīng)的特征向量所組成的矩陣就是我們所需降維后的數(shù)據(jù)。下面我們將一步步實現(xiàn) PCA 算法。

輸入數(shù)據(jù)：

import numpy as npx=np.array([2.5,0.5,2.2,1.9,3.1,2.3,2,1,1.5,1.1])y=np.array([2.4,0.7,2.9,2.2,3,2.7,1.6,1.1,1.6,0.9])

歸一化數(shù)據(jù)：

mean_x=np.mean(x)mean_y=np.mean(y)scaled_x=x-mean_xscaled_y=y-mean_ydata=np.matrix([[scaled_x[i],scaled_y[i]] for i in range(len(scaled_x))])

繪制散點圖查看數(shù)據(jù)分布：

import matplotlib.pyplot as pltplt.plot(scaled_x,scaled_y,'o')

求協(xié)方差矩陣：

cov=np.cov(scaled_x,scaled_y)

求協(xié)方差矩陣的特征值和特征向量：

eig_val, eig_vec = np.linalg.eig(cov)

求出特征向量后，我們需要選擇降維后的數(shù)據(jù)維度 k（n 維數(shù)據(jù)降為 k 維數(shù)據(jù)），但我們的數(shù)據(jù)只有兩維，所以只能降一維：

eig_pairs = [(np.abs(eig_val[i]), eig_vec[:,i]) for i in range(len(eig_val))]eig_pairs.sort(reverse=True)feature=eig_pairs[0][1]

轉(zhuǎn)化得到降維后的數(shù)據(jù)：

new_data_reduced=np.transpose(np.dot(feature,np.transpose(data))

原文鏈接：https://deeplearning4j.org/eigenvector#a-beginners-guide-to-eigenvectors-pca-covariance-and-entropy

工程PCA算法工程矩陣數(shù)據(jù)降維算法8 推薦文章開發(fā)者必讀：計算機科學(xué)中的線性代數(shù)李澤南7

總結(jié)

以上是生活随笔為你收集整理的从特征分解到协方差矩阵：详细剖析和实现PCA算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。