備忘錄之主成分分析
//這個暑期小學期，跟管理技術系的同學上營銷數據分析。這門選修，主要是為湊學分了，偶爾也在課程bbs發些貼，權當備忘錄了。這個主成分分析，主要來自高惠璇老師的兩本教材，《應用多元統計分析》（北京大學出版社，2005）和《實用統計方法與SAS系統》（北京大學出版社，2001）。這個貼就發在學院bbs上，其他ip登不上，貼過來。在記事本上寫的，像Z1這樣的標記就是Z加一個下標1。
在實際問題中，如果變量個數太多：
1.變量彼此存在一定的相關性，因而觀測到的數據在一定程度上反映的信息有所重疊（多重共線性）；
2.在高維空間中研究樣本的分布規律比較復雜，變量太多增加分析問題的復雜性。
我們希望：
1.用較少的綜合變量來代替原來較多的變量（降維，減少維度）；
2.這幾個綜合變量能夠盡可能多地反映原來變量的信息；
3.這幾個綜合變量彼此互不相關。
主成分分析、因子分析、典型相關分析和偏最小二乘回歸等統計方法就是以上降維思想的體現。
一、主成分分析
1.定義
這里說的主成分分析，又稱主分量分析、主軸分析，是將多個指標（變量）化為少數幾個綜合指標的一種統計方法。
把p個變量X1，X2，…，Xp，記為一個p維的隨機向量X=(X1，X2，…，Xp)，其協方差陣為D(X)。考慮X的線性變換：
Z1=A1*X
Z2=A2*X
……
Zp=Ap*X，
這里的X和A1、A2、…、Ap等都不妨看成向量形式。假如我們想用Z1來代替原來的p個變量，這就要求Z1盡可能多地反映原來p個變量的信息。這里“信息”可以用Z1的方差Var（Z1）來表示，方差Var（Z1）越大，表示Z1包含的信息越多。當然，這需要強加一些數學上的限制，否則Var（Z1）就可能是無限大了，這里的限制是向量A1和它自己的轉置之積等于1，記為A1*Trans（A1）=1。就這樣：
???????? 若存在滿足A1*Trans（A1）=1的A1，使得Var（Z1）最大，則稱Z1為為第一主成分，或第一主分量，Z1=A1*X。
如果第一主成分不足以代表原來p個變量的絕大部分信息，我們就可以考慮X的第二個線性組合Z2=A2*X。此時，我們要求，已經體現在第一主成分Z1中的信息不要出現在Z2中，即Z1和Z2的協方差Cov（Z1，Z2）=0。就這樣：
????????? 在Cov（Z1，Z2）=0時，若存在滿足A2*Trans（A2）=1的A2，使得Var（Z2）最大，則稱Z2為為第二主成分，或第二主分量。
類似我們可以定義X的第三主成分，以致第p主成分（當然，對p維的隨機向量X來說，第p主成分就沒有必要了）。
2.直觀解釋
從代數上講，主成分就是p個原始變量的一些特殊的線性組合。
從幾何上講，這些線性組合是把由X1，X2，…，Xp構成的坐標系通過旋轉而產生的新坐標系。
3.求解
從上面的定義可知，求第一主成分Z1=A1*X的問題，就是求A1，使得在A1*Trans（A1）=1下，Var（Z1）達到最大，這是一個條件極值問題，可以用拉格朗日乘子法求解。
?? Max Var(Z1)=Var(A1*X)
?? s.t A1*Trans（A1）=1
運用拉格朗日乘子法,令L=Var（A1*X）-t(A1*Trans（A1）-1)，接下來就是一階條件了，按下不表。
說說結果。求解以上條件極值問題，就是求X的協方差陣D(X)的特征值（就是拉格朗日乘子t）和特征向量（就是我們感興趣的A1、A2、…、Ap）。一個定理：
設X=(X1，X2，…，Xp)是p維的隨機向量，其協方差陣為D(X)，D(X)的特征值為t1>t2>…>tp,A1、A2、…、Ap為相應的單位正交特征向量，則X的第i主成分為Zi=Ai*X.
4.一些名詞
原總體X的總慣量（總方差）：就是上面我們求出來的特征值之和，sum（t1，t2，…，tp）
貢獻率：單個特征值ti與總方差之比，稱為主成分Zi的貢獻率。同樣可以定義累計的貢獻率。
因子負荷量（因子載荷量）：主成分Zi與原始變量Xi的相關系數。
5.計算機求解（SAS）
（在SAS系統中，主成分分析的程序步是princomp，因子分析的程序步是factor。所以可以知道主成分分析和因子分析畢竟不是一樣的東西，具體見因子分析的部分。）
這里有一個數據，5個變量，id、x1身高、x2體重、x3胸圍、x4坐高，30個觀測值。我們想對x1身高、x2體重、x3胸圍、x4坐高做主成分分析。
data princomp;
? input id x1 x2 x3 x4? ;
? cards;
1 148 41 72 78??
2 139 34 71 76
3 160 49 77 86
4 149 36 67 79
5 159 45 80 86
6 142 31 66 76
7 153 43 76 83??
8 150 43 77 79
9 151 42 77 80
10 139 31 68 74
11 140 29 64 74
12 161 47 78 84
13 158 49 78 83
14 140 33 67 77
15 137 31 66 73
16 152 35 73 79
17 149 47 82 79
18 145 35 70 77
19 160 47 74 87
20 156 44 78 85
21 151 42 73 82
22 147 38 73 78
23 157 39 68 80
24 147 30 65 75
25 157 48 80 88
26 151 36 74 80
27 144 36 68 76
28 141 30 67 76
29 139 32 68 73
30 148 38 70 78
;
proc princomp;
? var x1 x2 x3 x4? ;
run;
結果解釋：
（1）結果首先有相關矩陣，可以看出這四個變量之間有較強的相關性。
????????????????????????????????????????? Correlation Matrix
????????????????????????????????????? x1????????? x2????????? x3????????? x4
????????????????????????? x1????? 1.0000????? 0.8632????? 0.7321????? 0.9205
????????????????????????? x2????? 0.8632????? 1.0000????? 0.8965????? 0.8827
????????????????????????? x3????? 0.7321????? 0.8965????? 1.0000????? 0.7829
????????????????????????? x4????? 0.9205????? 0.8827????? 0.7829????? 1.0000
（2）然后是以上相關陣的特征值t（Eigenvalue，上面例子中的t）
???????????????????????????????????????? Eigenvalues of the Correlation Matrix
?????????????????????????????????? Eigenvalue??? Difference??? Proportion??? Cumulative
??????????????????????? 1??? 3.54109800??? 3.22771484??????? 0.8853??????? 0.8853
??????????????????????? 2??? 0.31338316??? 0.23397420??????? 0.0783??????? 0.9636
??????????????????????? 3??? 0.07940895??? 0.01329906??????? 0.0199??????? 0.9835
??????????????????????? 4??? 0.06610989???????????????????????????? 0.0165??????? 1.0000
從中可以看到，第一主成分的貢獻率就達到 0.8853。單個貢獻率就是某個特征值與總特征值的比，這里0.8853=3.54109800/(3.54109800 +0.31338316 +0.07940895+0.06610989) .還有，前兩個主成分的累計是0.9636，所以用這兩個主成分就可以很好地概括這些數據。
（3）還有特征向量（ Eigenvectors，我們例子中的A）
??????????????????????????????????????????????????? Eigenvectors
????????????????????????????????????? Prin1???????? Prin2???????? Prin3???????? Prin4
????????????????????? x1????? 0.496966????? -.543213????? -.449627????? 0.505747
????????????????????? x2????? 0.514571????? 0.210246????? -.462330????? -.690844
????????????????????? x3????? 0.480901????? 0.724621????? 0.175177????? 0.461488
????????????????????? x4????? 0.506928????? -.368294????? 0.743908????? -.232343
我們可以由最大的兩個特征值對應的特征向量，寫出第一和第二主成分（結果中的Prin1和Prin2）：
Z1=Prin1= 0.496966*X1+0.514571 *X2+0.480901*X3+0.506928*X4
Z2=Prin2= -0.543213 *X1+0.210246 *X2+0.724621*X3 -0.368294*X4
