應(yīng)用矩陣分析1 子空間分析1 線性子空間基礎(chǔ)

• 基本理論
• • 正交分解
  • 子空間的正交投影
• 應(yīng)用舉例
• • 離散信號(hào)的Casorati矩陣
  • 正交多分辨率分析
  • Orthogonal Procrustes Problem

這個(gè)系列介紹矩陣分析的應(yīng)用，相關(guān)線性代數(shù)基礎(chǔ)會(huì)作簡(jiǎn)單介紹，但主要篇幅還是按專題的形式介紹矩陣分析相關(guān)結(jié)果在實(shí)際問(wèn)題中的應(yīng)用。

在優(yōu)化、近似、回歸等問(wèn)題中，很多時(shí)候我們就是在試圖找最優(yōu)的子平面來(lái)近似raw data space。比如dimensional reduction，就是找一個(gè)最優(yōu)子空間，使得用高維數(shù)據(jù)在最優(yōu)子空間上的投影作為對(duì)高維數(shù)據(jù)的近似只有很少或幾乎沒(méi)有information loss。因此子空間的分析的應(yīng)用方法是解決這類問(wèn)題的基礎(chǔ)。這一講我們先回顧一下與子空間相關(guān)的線性代數(shù)結(jié)論。

基本理論

考慮數(shù)域$F$上的線性空間$V$。

定義一 向量組$\{v_1,?,v_m\}$張成的子空間 (subspace) 記為
$$W=span\{v_1,?,v_m\}=\{w=\sum _{i=1}^m{\alpha }_i{v}_i:?{\alpha }_i\in \mathbb{R}\}$$

稱$v_1,?,v_m$為generator，稱$S=\{v_1,?,v_m\}$為spanning set。

定理一 (Spinning set theorem): $W$與$S$的最大線性無(wú)關(guān)組張成的子空間相同。

定義二 稱$S$的最大線性無(wú)關(guān)組為$W$的一組基，最大線性無(wú)關(guān)組包含的向量數(shù)目為$W$的維數(shù)，用$dim(W)$表示，$S$與$W$的基都不是唯一的。

正交分解

定義三 假設(shè)$W_1,W_2$是$V$的線性子空間，稱$W_1\oplus W_2$為$W_1,W_2$的直和
$$W_1\oplus W_2=\{w_1+w_2:w_1\in W_1,w_2\in W_2\}$$

定理二 （線性空間的直和分解）存在一列$V$的無(wú)交線性子空間$W_1,?,W_p$，使得
$$V=W_1\oplus ?\oplus W_p$$

此時(shí)$V$中的向量$x$存在唯一分解，
$$x=w_1+w_2+?+w_p$$

定義四 稱子空間$W_1$與$W_2$正交，如果$?w_1\in W_1,w_2\in W_2$，$w_1\perp w_2$。記為$W_1\perp W_2$。

定理三（線性空間的正交分解） $W$是$V$的一個(gè)子空間，$?!W^{\perp }$滿足$W\perp W^{\perp }$，$W^{\perp }$是$V$的子空間并且
$$V=W\oplus W^{\perp }$$

稱這是$V$的正交分解，稱$W^{\perp }$為$W$的正交補(bǔ)。需要注意的是正交比無(wú)交更強(qiáng)，正交的子空間一定無(wú)交，但無(wú)交子空間不一定正交，因此正交分解是一種特殊的直和分解。

定義五 $S?V$為矩陣$A$的不變子空間，如果$?x\in S$, $Ax\in S$。如果$A$是方陣，$\lambda$是$A$的一個(gè)特征值，顯然$N(A?\lambda I)$是$A$的不變子空間，我們稱這個(gè)不變子空間為矩陣$A$的特征值$\lambda$對(duì)應(yīng)的特征子空間。其中$N(A?\lambda I)$叫做$A?\lambda I$的核空間，
$$N(A?\lambda I)=\{x\in V:(A?\lambda I)x=0\}$$

定理四（線性空間的特征分解）$A$是$V$上的一個(gè)線性變換的矩陣表示，則$V$可以分解為$A$的特征子空間的直和，對(duì)于給定的線性變換，這種分解是唯一的。

子空間的正交投影

定義六 稱$P:V\to S,S?V$為（從$V$到$S$的）正交投影算子，如果

$C(P)=S$，$P$的像空間等于$S$，$C(P)=\{Px:?x\in V\}$被稱為像空間或者列空間

$P^2=P$，$P$是冪等矩陣

$P^H=P$，$P$是Hermite矩陣

定理五 （正交投影算子的性質(zhì)）

從一個(gè)線性空間到其某個(gè)子空間的正交投影算子是唯一的；

$I?P$是從$V$到$S^{\perp }$的正交投影算子

如果$S=span(A)$，則$P=A(A^{\prime }A{)}^{?}{A}^{\prime }$

在比較構(gòu)造正交投影的數(shù)值算法時(shí)，一個(gè)非常常用的工具是比較投影向量與子空間的夾角，我們可以定義向量與子空間的夾角為
$$\theta (x,S)=\underset{y\in S}{\min }\arccos \frac{|(x,y)|}{{\Vert x\Vert }_2{\Vert y\Vert }_2},?x\in V,S?V$$

$\theta (x,S)=\theta (x,Px)$

應(yīng)用舉例

離散信號(hào)的Casorati矩陣

定義七 假設(shè)$u_1(k),?,u_m(k)$是一組離散信號(hào)，定義矩陣
$$C=?\begin{array}{cccccc}{u}_1(k)& u_2(k)& u_3(k)& ?& u_{m?1}(k)& u_m(k)\\ u_1(k+1)& u_2(k+1)& u_3(k+1)& ?& u_{m?1}(k+1)& u_m(k+1)\\ u_1(k+2)& u_2(k+2)& u_3(k+2)& ?& u_{m?1}(k+2)& u_m(k+2)\\ ?& ?& ?& ?& ?& ?\\ u_1(k+m?2)& u_2(k+m?2)& u_3(k+m?2)& ?& u_{m?1}(k+m?2)& u_m(k+m?2)\\ u_1(k+m?1)& u_2(k+m?1)& u_3(k+m?1)& ?& u_{m?1}(k+m?1)& u_m(k+m?1)\end{array}?$$

這個(gè)矩陣被稱為離散信號(hào)的Casorati矩陣，它的行列式被稱為Casorati行列式，如果存在一個(gè)$k$使得$|C|=0$，就稱這組離散信號(hào)線性無(wú)關(guān)。

正交多分辨率分析

定義八 假設(shè)$u(t)$是一個(gè)平方可積信號(hào)，即$u(t)\in L^2(\mathbb{R})$，取$L^2(\mathbb{R})$的一列遞增的子空間$V_j,j\in \mathbb{Z}$，則根據(jù)定理三，存在
$$V_{j+1}=V_j\oplus W_j$$

其中$W_j=V_j^{\perp }$，稱$V_j$和$W_j$分別為分辨率$2^{?j}$的尺度子空間與小波子空間。這樣可以實(shí)現(xiàn)在$V_1,W_1,?,W_n,?$中分別構(gòu)造對(duì)信號(hào)$u(t)$的近似，這種分析方法是正交多分辨率分析。

Orthogonal Procrustes Problem

假設(shè)我們對(duì)同一個(gè)對(duì)象進(jìn)行了兩次測(cè)量，測(cè)量結(jié)果分別為$A,B$，我們希望找一個(gè)正交矩陣$Q$使得
$$\underset{Q^{\prime }Q=I}{\min }{\Vert A?BQ\Vert }_F$$

之所以要考慮這個(gè)問(wèn)題是因?yàn)槲覀兿Ｍ诓桓淖儨y(cè)量數(shù)據(jù)的scale與內(nèi)部線性相關(guān)性的前提下剔除掉第二次測(cè)量的“測(cè)量誤差”，使得兩次數(shù)據(jù)更具可比性。從幾何上看，我們?cè)噲D達(dá)成的是讓$C(B)$中的向量經(jīng)過(guò)一定的正交變換（旋轉(zhuǎn)、軸反射等）可以與$C(A)$的某個(gè)向量基本重合。

關(guān)于Frobenius范數(shù)有一個(gè)比較有用的構(gòu)造，對(duì)于任何矩陣$M$，
$${\Vert M\Vert }_F^2=\sum _i\sum _j{M}_{ij}^2=tr(M^{T}M)$$

因此
$$\begin{gathered} {\Vert A?BQ\Vert }_F^2=tr((A?BQ{)}^{\prime }(A?BQ)) \\ =tr(A^{\prime }A)+tr(Q^{\prime }{B}^{\prime }BQ)?2tr(Q^{\prime }{B}^{\prime }A)=tr(A^{\prime }A)+tr(B^{\prime }B)?2tr(Q^{\prime }{B}^{\prime }A) \end{gathered}$$

所以上面的最小化等價(jià)于最大化$tr(Q^{\prime }{B}^{\prime }A)$。對(duì)$B^{\prime }A$做奇異值分解，$B^{\prime }A=U\Sigma V^{\prime }$，
$$tr(Q^{\prime }{B}^{\prime }A)=tr(Q^{\prime }U\Sigma V^{\prime })=tr(V^{\prime }{Q}^{\prime }U\Sigma )\le tr(\Sigma )$$

當(dāng)且僅當(dāng)$Q=U{V}^{\prime }$時(shí)取等。

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的应用矩阵分析1 子空间分析1 线性子空间基础的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。