7.4.8 數據壓縮

上面 PCA 從數學方面說明了數據矩陣壓縮的可能性，現在從物理模型上說明這點。

數據矩陣由于測量噪聲，觀測到的數據矩陣理論上為 $A=\bar{A}+N$ ，其中 $\bar{A}$ 為真實值構成的數據矩陣即未受噪聲影響，$N$ 為噪聲矩陣，由于噪聲是隨機的，不相關的，故矩陣 $N$ 一般為滿秩矩陣即 $rankN=min(m,n)$ ，所以數據矩陣 $A$ 一般是滿秩矩陣。但真實數據矩陣 $\bar{A}$ 一般是低秩矩陣即 $r=rank\bar{A}?min(m,n)$ ，因為樣本點云具有結構，這個性質可以看作一個自然規律。

對真實矩陣進行奇異值分解得 $\bar{A}={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ ，向量 ${\mathbf{u}}_i$ 是主成分方向，由于數據矩陣可降維，故 $r?min(m,n)$ 。

我們對存儲矩陣 $\bar{A}$ 需要的空間進行分析，直接存儲 $\bar{A}$ 需要的空間為 $mn$ ；采用奇異值分解存儲需要的空間為：$r$ 個奇異值 ${\sigma }_1,?,{\sigma }_r$ 需要的空間為 $r$ ，$r$ 個奇異向量 ${\mathbf{v}}_1,?,{\mathbf{v}}_r$ 需要的空間為 $rn$ ，$r$ 個奇異向量 ${\mathbf{u}}_1,?,{\mathbf{u}}_r$ 需要的空間為 $rm$ ，故總的空間為 $r+rn+rm=r(m+n+1)$ ，當 $r?min(m,n)$ 時，有 $r(m+n+1)?mn$ ，故存儲奇異值分解的結果可以大大減小存儲量，達到數據壓縮的目的。為此付出的代價是，存儲時需要先進行奇異值分解，讀取時需要先進行矩陣恢復即計算 $\bar{A}={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^T$ ，增加了計算量。

但由于矩陣 $A$ 幾乎滿秩，所以 $r=rankA\approx min(m,n)$ ，存儲奇異值需要的空間為 $r(m+n+1)\approx min(m,n)(m+n+1)\approx 2mn$ ，不僅達不到壓縮目的，反而增加了一倍存儲空間。

由于噪聲隨機不相關，所以噪聲引起的奇異值幾乎都相等即 ${\sigma }_1^N\approx {\sigma }_2^N\approx ?\approx {\sigma }_{min(m,n)}^N$ ，又因為噪聲能量一般遠低于真實信號能量，故噪聲引起的奇異值遠小于信號的奇異值即 ${\sigma }_1^N?{\sigma }_r^{\bar{A}}$ ，所以如果我們對觀測矩陣 $A$ 進行低秩近似，只取其前 $r=rank\bar{A}$ 個主成分，則不會損失觀測矩陣 $A$ 的太多信息，同時又能去除部分噪聲，達到去噪目和壓縮數據。注意矩陣 $A$ 的奇異值分解不等于矩陣 $\bar{A}$ 奇異值分解和矩陣 $N$ 奇異值分解之和，故只取矩陣 $A$ 前 $rank\bar{A}$ 個主成分會損失部分真實信息。

實際情況下，由于無法得到真實矩陣 $\bar{A}$ ，故無法得到其秩 $rank\bar{A}$ ，也就無法只取其前 $r=rank\bar{A}$ 個主成分進行低秩近似。故實際中，只能近似取矩陣 $A$ 前 $R$ 個主成分進行低秩近似，根據能量法則：${\sigma }_1^2+?+{\sigma }_R^2$ 約等于 $99\%$ 或 $99.9\%$ ${\sigma }_1^2+?+{\sigma }_n^2,n=rankA$ ，注意是奇異值的平方！，因為奇異值平方和等于所有元素平方和。

數據壓縮本質上就是PCA，根據PCA重構公式 $A^C=U_k{U}_k^{T}A$ ，重構矩陣就是 ${\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_k{\mathbf{u}}_k{\mathbf{v}}_k^T$ 。證明如下： $A=U\Sigma V^T$ 帶入重構公式得
$$\begin{gathered} A^C=U_k{U}_k^{T}U\Sigma V^T=U_k{U}_k^T[U_k,U^{\prime }]\Sigma V^T \\ =U_k[U_k^T{U}_k,U_k^T{U}^{\prime }]\Sigma V^T=U_k[E_k,\mathbf{O}]\Sigma V^T \\ =[U_k{E}_k\Sigma V^T,\mathbf{O}]=[U_k{\Sigma }_k{V}_k^T,\mathbf{O}] \\ ={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^T+?+{\sigma }_k{\mathbf{u}}_k{\mathbf{v}}_k^T \end{gathered}$$

總結

以上是生活随笔為你收集整理的7.4.8 数据压缩的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。