這節(jié)的內(nèi)容需要一些線性代數(shù)基礎(chǔ)知識(shí)，如果你沒聽懂本文在講什么，強(qiáng)烈建議你學(xué)習(xí)【官方雙語/合集】線性代數(shù)的本質(zhì) - 系列合集

文章目錄

• 奇異值分解
• • 線性變換
  • 特征值和特征向量的幾何意義
  • 什么是奇異值分解？
  • 公式推導(dǎo)
  • • SVD推廣到任意大小矩陣
  • 如何求SVD分解
• 非負(fù)矩陣分解（NMF)
• 主成分分析PCA
• • 我們?yōu)槭裁葱枰狿CA？
  • 來找坐標(biāo)原點(diǎn)
  • 來找坐標(biāo)系
  • 怎么理解PCA
  • 什么是協(xié)方差矩陣
  • • 公式推導(dǎo)
    • 重要思考！
    • 置信橢圓
    • PCA的缺點(diǎn)
  • PCA主成分與SVD的關(guān)系

---

奇異值分解

這段看的視頻是【學(xué)長(zhǎng)小課堂】什么是奇異值分解SVD–SVD如何分解時(shí)空矩陣

線性變換

大多數(shù)本科生接觸的線性代數(shù)可能只是矩陣的運(yùn)算，如果我們從幾何意義上來理解會(huì)發(fā)現(xiàn)一個(gè)嶄新的世界。

假設(shè)我們給出一個(gè)原矩陣D，D的矩陣如上所示，D由四個(gè)向量$[x_1,y_1{]}^T...[x_4,y_4{]}^T$構(gòu)成。矩陣D的基（基底）是數(shù)軸正方形上的單位向量$j=[0,1{]}^T,i=[1,0{]}^T$,如圖左所示，實(shí)際上任何一個(gè)向量我們都可以視作基的運(yùn)算，如下圖。


現(xiàn)在我們給出一個(gè)矩陣$S=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]$，然后我們將矩陣SD相乘，如果單純運(yùn)算我們當(dāng)然知道SD的結(jié)果。現(xiàn)在讓我們?cè)倏纯葱戮仃嘢D，我們會(huì)發(fā)現(xiàn)其中的向量$[2x_1,y_1]....[2x_4,y_4]$在x軸上都變?yōu)榱嗽瓉淼膬杀丁?br /> 實(shí)際上，矩陣運(yùn)算AB=C，我們可以解讀為：對(duì)B矩陣應(yīng)用了A變換從而得到了新矩陣C
我們將D矩陣簡(jiǎn)寫為$D=\left[\begin{array}{c}x\\ y\end{array}\right]$，也就是說$SD=\left[\begin{array}{cc}2& 0\\ 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=x\left[\begin{array}{c}2\\ 0\end{array}\right]+y\left[\begin{array}{c}0\\ 1\end{array}\right]$
因此S變換相當(dāng)于將x乘以兩倍，y乘以一倍，本質(zhì)上$S$矩陣對(duì)$D$矩陣的基進(jìn)行了線性變換，$j?1\to \hat{j},i?2\to \hat{i}$，因此如下圖所示，SD會(huì)將D橫向拉伸兩倍。

---

如圖我們對(duì)矩陣D乘以一個(gè)旋轉(zhuǎn)矩陣R，其中$R=\left[\begin{array}{cc}cos(\theta )& ?sin(\theta )\\ sin(\theta )& cos(\theta )\end{array}\right]$，其中θ角代表了旋轉(zhuǎn)的角度，當(dāng)然這個(gè)矩陣代表了整體的旋轉(zhuǎn)，你可以想象整個(gè)網(wǎng)格以原點(diǎn)為旋轉(zhuǎn)中心旋轉(zhuǎn)。

矩陣的線性變換就包括拉伸和旋轉(zhuǎn)兩種，如果一個(gè)矩陣(向量)x在應(yīng)用了變換矩陣A后，原點(diǎn)位置依舊不變，且基向量為直線，坐標(biāo)上的網(wǎng)格線保持平行，我們就稱這種變換為線性變換。

一種更直觀的變換方式，就是將基向量移動(dòng)到變換矩陣對(duì)應(yīng)的坐標(biāo)，想象整個(gè)網(wǎng)格隨之運(yùn)動(dòng)。

在乘以R矩陣后，RSD相當(dāng)于在SD的圖像上應(yīng)用了線性旋轉(zhuǎn)得到了新的圖像。

特征值和特征向量的幾何意義

矩陣乘法核心思想(6)：特征向量與特征值的幾何意義
先說結(jié)論，其實(shí)我們剛才已經(jīng)講過了。

• 矩陣乘法即線性變換——對(duì)向量進(jìn)行旋轉(zhuǎn)和長(zhǎng)度伸縮，效果與函數(shù)相同;
• 特征向量指向只縮放不旋轉(zhuǎn)的方向;
• 特征值即縮放因子;
• 旋轉(zhuǎn)矩陣無實(shí)數(shù)特征向量和特征值。
  

單個(gè)向量的張成空間是一條直線，在大部分時(shí)候，線性變換后的向量會(huì)偏移原來的張成空間，然而某些時(shí)候一些向量?jī)H僅只是將進(jìn)行了拉伸，因此就被留在了原張成空間中，或者說所有處于這條直線上的向量都僅僅只是被拉伸。我們把這些應(yīng)用了線性變換后仍然留在原張成空間的向量稱為特征向量，其被拉伸的比例因子我們稱為特征值，因此，拉伸為三倍的那個(gè)直線就是一個(gè)屬于特征值3的特征向量。

那么假設(shè)我們找到了這個(gè)特征向量，然后對(duì)一個(gè)三維矩陣（我們將其看作一個(gè)三維空間）進(jìn)行了一次旋轉(zhuǎn)，我們知道特征向量經(jīng)過旋轉(zhuǎn)這種線性變換仍然留在原張成空間上，因此特征向量線性變換前后的位置保持不變，那么我們就可以視為對(duì)這個(gè)矩陣以特征向量為旋轉(zhuǎn)軸進(jìn)行了一次旋轉(zhuǎn)。

計(jì)算特征值的公式就是$AV=\lambda V$,其中$\lambda$是特征值矩陣，尋找特征向量$V$就是求解$(A?\lambda E)V=0$,這是一個(gè)齊次線性方程組，當(dāng)$det(A?\lambda E)=0$或$(A?\lambda E)$這個(gè)矩陣非滿秩的時(shí)候存在非零解。

現(xiàn)在讓我們重新審視一下$AV=\lambda v$這個(gè)式子：

A代表了一個(gè)變換矩陣，$v$代表了特征向量，當(dāng)矩陣*向量=向量，因此$Av$代表了對(duì)$v$的一次線性變換，在SVD中，我們可以將矩陣變換拆解為$A=DR$，即旋轉(zhuǎn)和拉伸，因此$Av$相當(dāng)于對(duì)向量$v$進(jìn)行了旋轉(zhuǎn)加拉伸的線性變換，它的結(jié)果$AV=\lambda v$,相當(dāng)于對(duì)原向量拉伸了特征值$\lambda$倍。也就是說，在特征向量上的線性變換A完全可以由$\lambda$所定義！

那么特征值能不能是復(fù)數(shù)呢？能，這意味著特征向量縮放了一個(gè)虛數(shù)倍？在笛卡爾坐標(biāo)系上實(shí)在是太難想象了，而且有些超綱了。

為什么對(duì)角矩陣的主元就是特征值？我們可以將基向量視為特征向量，因此主元上的元素就是特征值。

我們能進(jìn)行SVD分解的基礎(chǔ)之一就是特征值的這些特性，實(shí)際上SVD公式$M=U\Sigma V^T$中的U,V都代表旋轉(zhuǎn)變換，只有$\Sigma$代表了縮放，而在后面我們也會(huì)知道，原來$M{M}^T$的特征值$L={\Sigma }^2$，如果我們對(duì)一個(gè)非奇異矩陣進(jìn)行了SVD分解，所得到的奇異值其實(shí)就是特征值，因此和我們現(xiàn)在所說的特征值代表縮放因子這一結(jié)論是一致的。

---

什么是奇異值分解？

左圖中的M是一個(gè)線性變換矩陣，想要從一個(gè)單位圓達(dá)到M這個(gè)效果，你可以想象一下，我們就是把這個(gè)圓拉長(zhǎng)并且旋轉(zhuǎn)。我們可以把整個(gè)操作分解為拉伸+旋轉(zhuǎn)。在奇異值分解中，則是分解為了旋轉(zhuǎn)$V^T$+拉伸$\Sigma$+旋轉(zhuǎn)$U$，奇異值分解的公式則是$M=U\Sigma V^T$。

---

公式推導(dǎo)

如圖，V是原始域的標(biāo)準(zhǔn)正交基（即基為單位長(zhǎng)度且正交），我們對(duì)其應(yīng)用線性變換M得到了新的矩陣$U\Sigma$，$U=[u_1,u_2]$也是標(biāo)準(zhǔn)正交基（其基為原始域單位長(zhǎng)度且正交)，但是我們發(fā)現(xiàn)經(jīng)過線性變換M的新矩陣U，它的基的長(zhǎng)度實(shí)際上已經(jīng)不是單位長(zhǎng)度了（原始域的單位長(zhǎng)度）,相當(dāng)于在U的基上進(jìn)行了拉伸，我們用$\Sigma$表示這個(gè)拉伸矩陣，拉伸幅度用奇異值$\sigma$表示。

因此我們可以得到$MV=U\Sigma$,其中由于V是正交矩陣，因此$V^T=V^{?1}$
$M=U\Sigma V^{?1}=U\Sigma V^T$

SVD推廣到任意大小矩陣

對(duì)于任意大小矩陣可化為m×n=(m×m)(m×n)(n×n)

在上圖中舉出的這個(gè)例子中，我們發(fā)現(xiàn)$\Sigma$矩陣中的最后一行是沒有信息的，因此這一行可以忽略（在此例子中m=n+1），我們可以少計(jì)算一行，將其看作一個(gè)(m-1)*n的矩陣，那么$U$矩陣的最后一列也可以消去，因此可以得到一個(gè)更簡(jiǎn)單矩陣計(jì)算：

在這里我們稍微提一下后面要講的主成分分析：其實(shí)就是選擇主要元素，丟棄非主要元素從而實(shí)現(xiàn)信息壓縮。
現(xiàn)在讓我們給$\Sigma$選擇r個(gè)主成分，得到新的壓縮過的三個(gè)矩陣

我們按照$\Sigma$中奇異值的個(gè)數(shù)進(jìn)行模式拆分，由于壓縮矩陣是(m×r)(r×r)(r×n),所以我們分別把$U$拆成$r$列，$\Sigma$拆成$r$個(gè)奇異值，$V^T$拆成$r$行，依次組合成三個(gè)模式(pattern)

將$U,V^T$拆出的成分相乘，得到一個(gè)新的矩陣，再分別乘以奇異值，最后將三個(gè)矩陣疊加在一起，就得到了原始矩陣M（由于選擇了主成分，因此存在信息丟失）

我們?cè)賹⑵洳鸾獬鰜?#xff0c;就是$基向量u?基向量v?奇異值\sigma$,因?yàn)槠娈愔涤腥齻€(gè)，所以我們拆分出了三種模式，我們可以給不同的模式定義不同的信息

雖然三種模式的保存的信息形式都是時(shí)間，空間和大小，但是三種模式保存的時(shí)間，空間的分布都是不同的。

---

如何求SVD分解

$$\begin{gathered} M=U\Sigma V^T \\ {M}^{T}M=(U\Sigma V^T{)}^{T}U\Sigma V^T \\ {M}^{T}M=V\Sigma U^{T}U\Sigma V^T(\Sigma 對(duì)稱) \\ {M}^{T}M=V\Sigma \Sigma V^T \end{gathered}$$

我們令$L=\Sigma \Sigma$，我們?cè)O(shè)$M^{T}M$的特征值為$\lambda$,那么就有$M^{T}Mv=\lambda v$

將上式子乘以$V^{?1}$，我們得到

因此我們得到:
$$\begin{gathered} M^{T}M=VL{V}^T \\ {M}^{T}MV=VL=LV \\ M{M}^{T}U=UL=LU(V和U都是向量,所以能交換位置) \end{gathered}$$
所以V是$M^{T}M$的特征向量,U是$M{M}^T$的特征向量，因此$\Sigma$是矩陣$M^{T}M和M{M}^T$的特征值$L={\Sigma }^2$開方構(gòu)成的對(duì)角陣，因此只需知道M，我們就可以進(jìn)行SVD分解

---

非負(fù)矩陣分解（NMF)

視頻中只簡(jiǎn)單的提了一嘴，簡(jiǎn)單來說非負(fù)矩陣分解類似于SVD，將$M$分解為$SB$，這兩個(gè)矩陣中的每個(gè)向量，每個(gè)元素都是非負(fù)的，然后將S的每一列*B的每一行，得到右下角三個(gè)秩為1的矩陣并相加，最終結(jié)果近似于原始矩陣M，假設(shè)S列代表空間，B行代表時(shí)間，當(dāng)時(shí)間空間為正值的時(shí)候我們比較方便討論其物理意義。由于缺失了奇異值$\sigma$，所以我們不太好判斷哪種模式主要，所以可能我們需要求出矩陣范數(shù)來判斷每種模式的大小。

---

主成分分析PCA

我們?yōu)槭裁葱枰狿CA？

我們來看看一個(gè)特殊的例子，如果在二維坐標(biāo)上保存了這些樣本，我們發(fā)現(xiàn)實(shí)際上它們幾乎處于同一條直線，現(xiàn)在我們建立一個(gè)新的坐標(biāo)系，那么如果以新坐標(biāo)系為原點(diǎn)，就會(huì)發(fā)現(xiàn)所有的樣本基本分布在一維數(shù)軸上，也就是說，如果我們使用新的坐標(biāo)系來保存樣本數(shù)據(jù)，那么我們只需要一維的矩陣就能保存所有信息，這樣我們就實(shí)現(xiàn)了數(shù)據(jù)的降維，并且保證了較少的信息損失。

因此，PCA的本質(zhì)就是重構(gòu)一個(gè)新的坐標(biāo)系，使得我們?cè)谶M(jìn)行數(shù)據(jù)降維的時(shí)候，盡可能多地保存信息，使得信息損失較少。

---

來找坐標(biāo)原點(diǎn)

讓我們來看一個(gè)例子：

假設(shè)我們有6只小鼠，每只測(cè)定了兩種基因。（其中小鼠意味著個(gè)體樣本，基因代表每個(gè)樣本測(cè)量的變量）

假設(shè)我們只有一個(gè)變量，那么我們可以將數(shù)據(jù)放在一維數(shù)軸上，123處于較高位，456處于較低位，不難發(fā)現(xiàn)123是相似的，456是相似的。而這兩堆之間的相似性不強(qiáng)。

如果有兩個(gè)變量，拓展到二維坐標(biāo)上也是同理的。甚至于三維。

但是如果拓展到四維，那我們就沒法通過四維圖像來判斷這些樣本的近似度了。

如果我們分別計(jì)算樣本在變量1和變量2上的平均測(cè)度（圖中紅X），我們可以用這個(gè)平均值坐標(biāo)代表數(shù)據(jù)的中心，我們將這一步稱為"去中心化"。確定數(shù)據(jù)的中心，是為了將其作為坐標(biāo)原點(diǎn)。

---

來找坐標(biāo)系

現(xiàn)在我們將中心移動(dòng)到了原點(diǎn)，讓我們找到一條直線來擬合這些數(shù)據(jù)

怎么尋找最佳擬合直線應(yīng)該不用我們多說了，最小二乘法。
現(xiàn)在讓我們以一個(gè)樣本為例，用點(diǎn)到直線的距離和原點(diǎn)構(gòu)造出三角形，根據(jù)勾股定理，a固定，b越短，c越長(zhǎng)，b和c是負(fù)相關(guān)的。也就是說最小二乘法使得所有點(diǎn)到直線的距離$b_i$之和最小，如果我們換個(gè)角度，那么$c_i$之和將會(huì)達(dá)到最大
因此，我們?cè)赑CA中可以通過計(jì)算點(diǎn)的投影到原點(diǎn)的距離$d_i$來判斷是否找到了最佳擬合直線。需要注意的是，和線性回歸不同，由于PCA的坐標(biāo)存在著正負(fù)，因此得到的距離$d_i$也有可能是負(fù)數(shù)，為了避免負(fù)數(shù)，因此我們要對(duì)其進(jìn)行平方和計(jì)算，其實(shí)距離$d_i$意味著方差。

我們將距離平方和稱為SS，接下來為了找到這個(gè)最佳直線，我們開始旋轉(zhuǎn)，最終找到了這條線，此時(shí)的SS是最大的。

我們把現(xiàn)在找到的這條最佳擬合直線稱為主成分1(或PC1，Principal Component)，假設(shè)它的斜率是0.25,也就是$\frac{1}{4}$,意味著我們每往橫軸前進(jìn)四個(gè)單位，在縱軸上會(huì)上升一個(gè)單位。

也就是說對(duì)于每個(gè)數(shù)據(jù)而言，因?yàn)樗鼈兊姆植际墙朴谶@條直線的，因此每個(gè)樣本在橫軸Gene1的方向上擴(kuò)散更寬，而在縱軸Gene2的方向上的擴(kuò)散就相對(duì)較小。（就像上圖第一象限的樣本，它們更偏向右邊而不是上面，第三象限的樣本更偏向左邊而非下面）

我們也可以將PC1這條直線，視為Gene1和Gene2兩個(gè)變量的線性組合

根據(jù)勾股定理，我們想要得到單位長(zhǎng)度1的PC1，那么我們就需要$\frac{4}{4.12}$的Gene1和$\frac{1}{4.12}$的Gene2，我們將這個(gè)單位長(zhǎng)度向量稱為PC1的奇異向量或特征向量,我們將每種變量Gene的比例稱為載荷得分(Loading Scores)，SS就是PC1的特征值$L=\Sigma \Sigma$，因此$\sqrt{SS}$就是PC1的奇異值

在二維數(shù)軸上，PC2就是簡(jiǎn)單的一條經(jīng)過原點(diǎn)且垂直于PC1的直線。所以PC2的斜率和PC1的斜率之積是-1，所以當(dāng)前PC2的斜率為-4。然后我們?cè)偾驪C2方向上單位長(zhǎng)度的特征向量，奇異值以及載荷得分。同時(shí)也能得到PC2的SS。

要繪制最終的PCA圖，我們需要旋轉(zhuǎn)所有內(nèi)容，并且使得PC1呈水平狀態(tài)。然后根據(jù)投影位置找到樣本，

以上內(nèi)容是在幾何上對(duì)PCA的理解，實(shí)際上，我們可以將PCA理解為：尋找一個(gè)方便我們進(jìn)行數(shù)據(jù)降維的特征空間的方法。PC1和PC2都是這個(gè)特征空間的軸，而我們之所以要SS（方差）達(dá)到最大，是因?yàn)榉讲羁梢杂糜诮忉屍叫杏谔卣骺臻g軸方向的數(shù)據(jù)傳播

那么我們結(jié)合公式推導(dǎo)看看PCA的過程

---

怎么理解PCA

讓我們來看看兩組數(shù)據(jù)，第一組數(shù)據(jù)，它在x，y方向上都是正態(tài)分布，并且x和y不相關(guān)，我們把第一組數(shù)據(jù)稱為白數(shù)據(jù)(white data),由于是標(biāo)準(zhǔn)正態(tài)分布，因此其均值是0，方差是1。
右邊的數(shù)據(jù)是我們手上去中心化后的數(shù)據(jù)，x和y都是正態(tài)分布但不是標(biāo)準(zhǔn)正態(tài)分布，并且x和y相關(guān)，意味著隨著數(shù)據(jù)在x方向上的增大，在y方向上也會(huì)增大。

在學(xué)習(xí)了SVD分解后，我們知道可以通過線性變換將$D$轉(zhuǎn)化為$D^{\prime }$這個(gè)矩陣，其中$S$代表我們往方差最大的方向進(jìn)行拉伸，而$R$則是旋轉(zhuǎn)方向最大的方向的角度，因此我們解決PCA問題可以轉(zhuǎn)化為找到這個(gè)旋轉(zhuǎn)矩陣$R$。

同樣的，我們也可以通過逆運(yùn)算，從手上的數(shù)據(jù)$D^{\prime }$來計(jì)算白數(shù)據(jù)$D$，值得一提的是，由于$R$是一個(gè)旋轉(zhuǎn)矩陣，因此基一定是正交的，也就意味著它是一個(gè)正交矩陣，因此$R^{?1}=R^T$,而$S$矩陣是對(duì)角矩陣，因此其逆矩陣相當(dāng)于對(duì)角元素的倒數(shù)。

什么是協(xié)方差矩陣

因此，想要解決PCA問題，我們需要找到旋轉(zhuǎn)矩陣$R$，那么怎么找到它呢？我們需要協(xié)方差矩陣的幫助

在剛才從幾何上理解PCA的過程，我們知道尋找到PC1的條件是要使得方差最大，但是如果運(yùn)用到計(jì)算中，我們的方差公式$\sigma (x)或者\sigma (y)$只能表示數(shù)據(jù)在x軸方向上或者y軸方向上的方差，而你可以翻回上面的圖看看，我們尋找PC1的時(shí)候需要的是對(duì)角方向（斜線）上的方差，因此我們需要引入一個(gè)新的概念：協(xié)方差

協(xié)方差，我們用$cov(x,y)$來表示，它代表的是兩個(gè)變量在變化過程中是同方向變化還是反方向變化？其同向或反向程度如何？它代表了數(shù)據(jù)在x和y上的相關(guān)程度，也就是斜線方向上傳播的相關(guān)關(guān)系。
其中當(dāng)協(xié)方差$cov(x,y)>0$代表x和y在同方向上相關(guān)，反之$cov(x,y)<0$代表反方向相關(guān)，且協(xié)方差的絕對(duì)值越大代表了方向上的相關(guān)程度(變化比例）越大。
協(xié)方差公式：$cov(x,y)=\frac{{\sum }_{i=1}^n(x_i?\overline{x})(y_i?\overline{y})}{n?1}$

其中$\overline{x},\overline{y}$代表了各個(gè)樣本的x和y在數(shù)軸上的均值，由于我們已經(jīng)完成了去中心化，因此坐標(biāo)原點(diǎn)處于樣本中心，所以$\overline{x}=0,\overline{y}=0$，因此協(xié)方差化簡(jiǎn)為$cov(x,y)=\frac{{\sum }_{i=1}^n(x_i)(y_i)}{n?1}$，如果我們求x與x 的協(xié)方差，其結(jié)果就是x的方差

協(xié)方差矩陣就是由協(xié)方差構(gòu)成的矩陣，其中對(duì)角線元素是方差，n階矩陣代表了n維坐標(biāo)。初始的白數(shù)據(jù)我們說過，由于滿足標(biāo)準(zhǔn)正態(tài)分布，所以協(xié)方差是0，方差是1，因此協(xié)方差矩陣$C=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$

協(xié)方差在我們進(jìn)行矩陣的線性變換的時(shí)候是怎么變動(dòng)的呢？你可以想象一下，由于協(xié)方差矩陣$C=\left[\begin{array}{cc}cov(x,x)& cov(x,y)\\ cov(x,y)& cov(y,y)\end{array}\right]$，所以當(dāng)x,y上的向量變動(dòng)會(huì)導(dǎo)致對(duì)應(yīng)的協(xié)方差產(chǎn)生變動(dòng)，因此你可以將其等價(jià)為基向量的線性變換所產(chǎn)生的相關(guān)性變化。

假設(shè)我們將數(shù)據(jù)向x軸兩邊拉伸，那么與x相關(guān)的協(xié)方差$cov(x,x),cov(x,y)$會(huì)發(fā)生變化，而$cov(y,y)$不會(huì)，因此想象一下整體數(shù)據(jù)往x軸兩邊擴(kuò)張，y不變，因此x和x，x和y的相關(guān)性都會(huì)變大，意味著協(xié)方差的正負(fù)號(hào)不變，絕對(duì)值增大。反之若是向x軸內(nèi)收縮，則協(xié)方差正負(fù)號(hào)不變，絕對(duì)值縮小。

當(dāng)數(shù)據(jù)整體進(jìn)行旋轉(zhuǎn)的時(shí)候，我們以當(dāng)前xy方向作為對(duì)比，想象一下當(dāng)整體旋轉(zhuǎn)九十度，那么原來的x坐標(biāo)指向y坐標(biāo)，而y坐標(biāo)指向了x坐標(biāo)的反向，因此方差$cov(x,x),cov(y,y)$相關(guān)程度不變，協(xié)方差$cov(x,y)$符號(hào)會(huì)產(chǎn)生正負(fù)變化，相當(dāng)于每旋轉(zhuǎn)90度，$cov(x,y)??1$。形狀上來看如果形狀類似 “/” 那協(xié)方差$cov(x,y)>0$，反之形狀類似 “\” 則協(xié)方差$cov(x,y)<0$

詳見協(xié)方差矩陣的幾何解釋

公式推導(dǎo)

還是要提一下，上式的矩陣D其實(shí)就是SVD里的矩陣M，讓我們?cè)斀庖幌聟f(xié)方差矩陣的求法：
$C=\left[\begin{array}{cc}cov(x,x)& cov(x,y)\\ cov(x,y)& cov(y,y)\end{array}\right]=\left[\begin{array}{cc}\frac{{\sum }_{i=1}^n{x}_i^2}{n?1}& \frac{{\sum }_{i=1}^n{x}_i{y}_i}{n?1}\\ \frac{{\sum }_{i=1}^n{x}_i{y}_i}{n?1}& \frac{{\sum }_{i=1}^n{y}_i^2}{n?1}\end{array}\right]$
這個(gè)矩陣相乘結(jié)果可以提取$\frac{1}{n?1}$最終化為協(xié)方差矩陣$C=\frac{1}{n?1}D{D}^T$的矩陣與其轉(zhuǎn)置的乘積形式

讓我們將$C^{\prime }=\frac{1}{n?1}{D}^{\prime }{D}^{\prime T}$這個(gè)式子拆開
$$\begin{gathered} =\frac{1}{n?1}RSD(RSD{)}^T \\ =\frac{1}{n?1}RSD{D}^T{S}^T{R}^T \\ =RS(\frac{1}{n?1}D{D}^T)S^T{R}^T \end{gathered}$$
因?yàn)槲覀冎腊讛?shù)據(jù)的方差是0，協(xié)方差是1，所以白數(shù)據(jù)的協(xié)方差矩陣$C=\frac{1}{n?1}D{D}^T=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$,因此白數(shù)據(jù)的協(xié)方差矩陣是單位矩陣，所以原式子：
$=RS{S}^T{R}^T$
而我們之前說了，拉伸矩陣$S$是一個(gè)對(duì)角矩陣，所以$S=S^T$,旋轉(zhuǎn)矩陣$R$是一個(gè)正交矩陣，因此$R^T=R^{?1}$

$原式=RL{R}^{?1}$

因此我們得出$D^{\prime }$的協(xié)方差矩陣 $C^{\prime }=RL{R}^{?1}$,其中$L=S{S}^T=\left[\begin{array}{cc}{a}^2& 0\\ 0& b^2\end{array}\right]$

那么其實(shí)到這里我們就已經(jīng)很熟悉了，這個(gè)協(xié)方差矩陣和我們?cè)赟VD中學(xué)到的$M=U\Sigma V^T$的形式已經(jīng)完全一致了，實(shí)際上兩者本質(zhì)上可以說就是同一個(gè)式子，

假設(shè)$C^{\prime }$的特征值是$\lambda$,我們來對(duì)其進(jìn)行變形，由于是二維矩陣，所以有兩個(gè)特征值，我們把特征值$v_1{v}_2$看作矩陣R,$\lambda$看作矩陣L，得到如上圖所示的矩陣變換。

因此變換后的協(xié)方差矩陣$C^{\prime }=RL{R}^{?1}$就相當(dāng)于$C^{\prime }=特征向量?特征值矩陣?特征向量的逆$
由于協(xié)方差代表了兩個(gè)坐標(biāo)的相關(guān)度，就相當(dāng)于我們要求的線性變換后的矩陣$D^{\prime }$其PCA的橫軸PC1為第一列特征向量$v_1$,而縱軸PC2就為$v_2$,而L這個(gè)特征值矩陣代表了在白數(shù)據(jù)的xy方向上進(jìn)行拉伸的倍數(shù)$a,b$的平方，${\lambda }_1=a^2,{\lambda }_2=b^2$。為什么會(huì)這樣呢？

重要思考！

協(xié)方差和方差存在著什么關(guān)系？這一點(diǎn)我們需要特別指出，我們之前說過協(xié)方差代表了數(shù)據(jù)在斜線上的傳播關(guān)系，而方差代表了數(shù)據(jù)在x軸或者y軸上的傳播關(guān)系。也就是說，方差和協(xié)方差是負(fù)相關(guān)的，當(dāng)數(shù)據(jù)在斜線上的傳播相關(guān)越大，則在橫軸縱軸上的傳播相關(guān)越小，也就是說，當(dāng)協(xié)方差達(dá)到最大的時(shí)候，x和y的方差=0！同理當(dāng)方差達(dá)到最大的時(shí)候，協(xié)方差=0。

讓我們思考一個(gè)問題：方差在什么時(shí)候能夠達(dá)到最大？

當(dāng)然是協(xié)方差=0的時(shí)候，此時(shí)數(shù)據(jù)在斜方向上不相關(guān)，但是我們能不能直接確定一個(gè)最大方差？

或者我們換一個(gè)提問，能不能存在一個(gè)協(xié)方差矩陣，使得數(shù)據(jù)僅僅在軸方向上變換？

或者有沒有一個(gè)矩陣，能使得線性變換相當(dāng)于向量的拉伸？

魔法解開了，答案是特征向量！當(dāng)數(shù)軸是特征向量，應(yīng)用的矩陣相當(dāng)于特征值的時(shí)候，$Av=\lambda v$,能夠滿足我們的條件！因此方差在什么時(shí)候能取到最大？也就是方差=$\lambda$,協(xié)方差=0的時(shí)候！

現(xiàn)在再讓我們看看這個(gè)公式

現(xiàn)在我們理解了，此時(shí)白數(shù)據(jù)的x軸就是$v_1$,y軸就是$v_2$，這也是我們想要重建的PCA坐標(biāo)，那么要使得方差最大，所以特征矩陣就是$L=S{S}^T=\left[\begin{array}{cc}{a}^2& 0\\ 0& b^2\end{array}\right]$

$C^{\prime }$是$D^{\prime }$的協(xié)方差，$L$是$D^{\prime }$中用紅藍(lán)線畫出的新坐標(biāo)系下的協(xié)方差，我們對(duì)$D^{\prime }$應(yīng)用一下$R^{?1}$將其旋轉(zhuǎn)回去，這樣坐標(biāo)就回歸到了白數(shù)據(jù)的坐標(biāo)（后兩張圖的紅藍(lán)坐標(biāo)軸是將原點(diǎn)重新?lián)Q到新坐標(biāo)后的圖片，后兩張的紅藍(lán)坐標(biāo)相當(dāng)于新建的標(biāo)準(zhǔn)笛卡爾坐標(biāo)系，與第一張圖的紅藍(lán)軸不是同一個(gè)東西，由于網(wǎng)格沒有對(duì)應(yīng)發(fā)生變換所以可能看的有點(diǎn)迷糊），方差就代表了在白數(shù)據(jù)軸方向的拉伸倍數(shù)$\lambda$，實(shí)際上此處的方差方向才是第一張圖上的紅藍(lán)軸方向。

因此，PCA的方法實(shí)際上是將變換后的特征向量作為PC軸的方法，其方差最大的時(shí)候也就是對(duì)應(yīng)協(xié)方差矩陣$C=RL{R}^{?1}$,相當(dāng)于把特征方向旋轉(zhuǎn)到標(biāo)準(zhǔn)坐標(biāo)系上再應(yīng)用$L$的特征值變換。

此外，三維降二維的PCA和我們剛才講的類似，只不過我們要尋找的不止PC1，三維降二維是想讓數(shù)據(jù)投影到我們尋找到的平面，所以我們尋找到方差最大的軸PC1之后，還需要尋找到過原點(diǎn)垂直于PC1且方差最大的PC2。在找到這兩個(gè)軸后，PC3是一條過原點(diǎn)且同時(shí)垂直于PC1和PC2的軸，因此是唯一確定的。

置信橢圓

置信橢圓就是我們之前提到的置信域，它代表了一個(gè)搜索的區(qū)間范圍。

在白噪聲上的置信域是一個(gè)圓形，當(dāng)我們對(duì)D進(jìn)行了線性變換后，置信域被拉伸成了一個(gè)橢圓，由于是整體進(jìn)行了變換，因此無論是變換前還是變換后，置信橢圓內(nèi)包含的點(diǎn)的比例依舊是不變的，也就是若D中的s包含了95%的點(diǎn)，D’中的s依舊包含95%的點(diǎn)。置信橢圓的大小由s決定，可以查表得。

PCA的缺點(diǎn)

PCA相較于其他降維算法，的一個(gè)缺點(diǎn)就是離群點(diǎn)對(duì)于整體的影響較大，

---

PCA主成分與SVD的關(guān)系

我們知道V是$M^{T}M$的特征向量，而PCA主成分的方向是協(xié)方差矩陣$C=\frac{1}{n?1}{D^{\prime }}^T{D}^{\prime }$的特征向量，因此二者的特征向量是同一個(gè)方向上的不同大小的向量，所以SVD的V就是PCA主成分的方向。

SVD的U矩陣是$M{M}^T$的特征向量，U的作用就是SVD里講的，用三個(gè)矩陣壓縮存儲(chǔ)原矩陣。奇異值分解中的$\Sigma$奇異值選擇其實(shí)就相當(dāng)于PCA中的主成分選擇，因此在這兩式子中，特征值矩陣的對(duì)角元素個(gè)數(shù)就代表了保存的維度數(shù)量。

此外，奇異值分解相較于PCA，只需知道原矩陣M即可計(jì)算出U，V了，不需要計(jì)算協(xié)方差矩陣，而PCA需要先計(jì)算出協(xié)方差矩陣才能計(jì)算出新矩陣$D^{\prime }$，因此相對(duì)而言SVD應(yīng)該更高效。

總結(jié)

以上是生活随笔為你收集整理的【AI绘图学习笔记】奇异值分解(SVD)、主成分分析(PCA)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。