PCA最重要的降維方法之一，在數(shù)據(jù)壓縮消除冗余和數(shù)據(jù)噪音消除等領(lǐng)域都有廣泛的應(yīng)用，一般我們提到降維最容易想到的算法就是PCA，目標是基于方差提取最有價值的信息，屬于無監(jiān)督問題。

方差

方差描述的是樣本集合的各個樣本點到均值的距離之平均，一般用來描述一維數(shù)據(jù)的離散程度的度量，在概率論和統(tǒng)計方差用來度量隨機變量和數(shù)據(jù)期望之間的偏離程度。
$$Var(a)=\frac{1}{m}\sum _{i=1}^m(a_i?\mu {)}^2$$

協(xié)方差

方差和協(xié)方差的關(guān)系：方差是用來度量單個變量的“自身變異大小”的總體參數(shù)，方差越大表明該變量變化越大。協(xié)方差是兩個變量相互影響大小的參數(shù)，協(xié)方差的參數(shù)越大，則兩個變量相互影響越大。

可以通俗的理解為：兩個變量在變化過程中是同方向變化？還是反方向變化？同向或反向程度如何？你變大，同時我也變大，說明兩個變量是同向變化的，這時協(xié)方差就是正的。你變大，同時我變小，說明兩個變量是反向變化的，這時協(xié)方差就是負的。從數(shù)值來看，協(xié)方差的數(shù)值越大，兩個變量同向程度也就越大。反之亦然。

協(xié)方差公式如下：
$$Cov(X,Y)=E[(X?{\mu }_x)(Y?{\mu }_y)]$$
如果有X,Y兩個變量，每個時刻的“X值與其均值之差”乘以“Y值與其均值之差”得到一個乘積，再對這每時刻的乘積求和并求出均值，也可以寫成如下形式：
$$Cov(X,Y)=\frac{1}{m}\sum _{i=1}^m(X_i?{\mu }_x)(Y_i?{\mu }_y)$$

假設(shè)均值為0

如果協(xié)方差為0，表示兩個特征是線性無關(guān)的，所以為了盡可能的展示數(shù)據(jù)更多的原始信息，我們需要特征之間是線性無關(guān)的，也即協(xié)方差為0。
優(yōu)化目標：將一組N維向量降為K（0<k<n）維，目標選擇K個單位正交基，使得原始數(shù)據(jù)變換到這組基上后，各字段兩兩間協(xié)方差為0，字段的方差盡可能最大。
$$\begin{gathered} X=\left(\begin{array}{cccc}{a}_1& a_2& ?& a_m\\ b_1& b_2& ?& b_m\end{array}\right) \\ \frac{1}{m}X{X}^{\mathrm{T}}=\left(\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right) \end{gathered}$$
協(xié)方差矩陣對角線上的元素分別是字段的方差，而其他元素是a和b的協(xié)方差。并且是實對稱矩陣。

舉例

數(shù)據(jù)：
$$\left(\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right)$$
協(xié)方差矩陣：
$$C=\frac{1}{5}\left(\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right)?\begin{array}{cc}?1& ?2\\ ?1& 0\\ 0& 0\\ 2& 1\\ 0& 1\end{array}?=?\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ & \\ \frac{4}{5}& \frac{6}{5}\end{array}?$$
特征值：
$${\lambda }_1=2,{\lambda }_2=\frac{2}{5}$$
特征向量：
$$\begin{gathered} c_1=\left(\begin{array}{c}1\\ 1\end{array}\right) \\ {c}_2=\left(\begin{array}{c}?1\\ 1\end{array}\right) \end{gathered}$$
對角化：
$$PC{P}^{\mathrm{T}}=?\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ & \\ \frac{?1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}??\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ & \\ \frac{4}{5}& \frac{6}{5}\end{array}??\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{?1}{\sqrt{2}}\\ & \\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}?=?\begin{array}{cc}2& 0\\ & \\ 0& \frac{2}{5}\end{array}?$$
降維：
$$Y=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccccc}?1& ?1& 0& 2& 0\\ ?2& 0& 0& 1& 1\end{array}\right)=\left(\begin{array}{ccccc}\frac{?3}{\sqrt{2}}& \frac{?1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

使用sklearn實現(xiàn)PCA降維

參數(shù)n_components:這個參數(shù)可以幫我們指定希望PCA降維后的特征維度數(shù)目。最常用的做法是直接指定降維到的維度數(shù)目，此時n_components是一個大于等于1的整數(shù)。當然，我們也可以指定主成分的方差和所占的最小比例閾值，讓PCA類自己去根據(jù)樣本特征方差來決定降維到的維度數(shù)，此時n_components是一個（0，1]之間的數(shù)。當然，我們還可以將參數(shù)設(shè)置為"mle", 此時PCA類會用MLE算法根據(jù)特征的方差分布情況自己去選擇一定數(shù)量的主成分特征來降維。我們也可以用默認值，即不輸入n_components，此時n_components=min(樣本數(shù)，特征數(shù))。

whiten ：判斷是否進行白化。所謂白化，就是對降維后的數(shù)據(jù)的每個特征進行歸一化，讓方差都為1.對于PCA降維本身來說，一般不需要白化。如果你PCA降維后有后續(xù)的數(shù)據(jù)處理動作，可以考慮白化。默認值是False，即不進行白化。

import pandas as pd import numpy as np from sklearn.decomposition import PCA# ========================================================================================== X1 = pd.DataFrame(np.arange(9).reshape((3, 3)), index=['a', 'b', 'c'],columns=['one', 'two', 'three']) print(X1) print('=' * 8, 'shape:', X1.shape) pca = PCA(n_components=1)newData1 = pca.fit_transform(X1) print(newData1) print('=' * 8, '降維后shape:', newData1.shape)pca.fit(X1) newData12 = pca.transform(X1)""" newData1和newData2結(jié)果一致 """ # ========================================================================================== a = [[0, 1, 2], [3, 4, 5], [6, 7, 8]]X2 = pd.DataFrame(np.array(a), index=['a', 'b', 'c'],columns=['one', 'two', 'three']) print(X2) print('=' * 8, 'shape:', X2.shape) pca_new = PCA(n_components=1) pca_new.fit(X2) newData12 = pca_new.transform(X2) print(newData12) print('=' * 8, '降維后shape:', newData12.shape)

輸出結(jié)果如下：

one two three a 0 1 2 b 3 4 5 c 6 7 8 ======== shape: (3, 3) [[ 5.19615242][-0. ][-5.19615242]] ======== 降維后shape: (3, 1)one two three a 0 1 2 b 3 4 5 c 6 7 8 ======== shape: (3, 3) [[ 5.19615242][ 0. ][-5.19615242]] ======== 降維后shape: (3, 1)

總結(jié)

以上是生活随笔為你收集整理的PCA降维原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。