一.投影

1.直線投影到直線

我們會將$b$投影到$p=xa$。

我們可以利用發(fā)現(xiàn)$e$和$p$垂直，因此我們可以利用向量正交性寫出一下式子，我把向量上標去掉了，你們知道$x$是數(shù)即可。
$$a^T(b?xa)=0\to x{a}^{T}a=a^{T}b\to x=\frac{a^{T}b}{a^{T}a}$$
我們就可以知道
$$p=ax=a\frac{a^{T}b}{a^{T}a}=Pb$$
其中$P$為投影矩陣
$$P=\frac{a{a}^T}{a^{T}a}$$
我們可以發(fā)現(xiàn)：若$b$翻倍，$p$翻倍；若$a$翻倍，$p$不變。
首先我們考察一下投影矩陣$P$，我們可以看出$P$是個對稱陣，即
$$P^T=P$$
而且，我們想想我們將$b$進行投影到$a$上變?yōu)?span id="ze8trgl8bvbq" class="katex--inline">$p$，然后$p$在投影到$a$的話，我們可以發(fā)現(xiàn)還是$p$，則
$$P^2=P$$
其實證明很簡單，你直接這樣就行了
$$P^2=P?P=\frac{a{a}^T}{a^{T}a}\frac{a{a}^T}{a^{T}a}=\frac{a(a^{T}a)a^T}{a^{T}a{a}^{T}a}=\frac{a{a}^T}{a^{T}a}$$
記得$a^{T}a$是$a$的內(nèi)積，是個數(shù)，我們可以將它提到前面與分母相約。而且$C(P)$($P$的列空間)是一條過$a$的直線，因為$P$中列的線性組合都在$a$上，這樣我們也能得出
$$rank(P)=1$$

2.直線投影到平面

假設(shè)平面內(nèi)由$a_1$,$a_2$組成，我們可以看成$A=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]$的列空間。
$$p={\hat{x}}_1{a}_1+{\hat{x}}_2{a}_2=A\hat{X}$$
其中$\hat{X}=\left[\begin{array}{c}{\hat{x}}_1\\ {\hat{x}}_2\end{array}\right]$
我們?nèi)绾吻蠼?span id="ze8trgl8bvbq" class="katex--inline">$\hat{X}$呢？
這個問題關(guān)鍵就是$b?A\hat{X}$垂直于這個平面。
我們很容易寫出以下式子
$$\begin{gathered} a_1^T(b?A\hat{X})=0 \\ {a}_2^T(b?A\hat{X})=0 \end{gathered}$$
我們把它整成一個式子
$$\begin{gathered} \left[\begin{array}{c}{a}_1^T\\ a_2^T\end{array}\right](b?A\hat{X})=\left[\begin{array}{c}0\\ 0\end{array}\right] \\ {A}^T(b?A\hat{X})=0 \end{gathered}$$
我們將式子整理一下
$$\begin{gathered} A^{T}A\hat{X}=A^{T}b \\ \hat{X}=(A^{T}A{)}^{?1}{A}^{T}b \end{gathered}$$
條件是$A^{T}A$是可逆的。
則投影到平面的向量$p$
$$p=A\hat{X}=A(A^{T}A{)}^{?1}{A}^{T}b$$
我們就知道投影矩陣$P$
$$P=A(A^{T}A{)}^{?1}{A}^T$$
肯定有些人肯定會這么想
$$P=A{A}^{?1}(A^T{)}^{?1}{A}^T=I$$
但是我想跟你說，這是有條件的，這個$A$是可逆方陣才可以。這時候$$P=I$$
就是說$P$將向量投影到整個三維空間(對于這個例子來說)。
它依然具有以下性質(zhì)：

$P^T=P$

$P^2=P$

我們可以通過這個式子
$$\begin{gathered} A^T(b?A\hat{X})=0 \\ {A}^{T}e=0 \end{gathered}$$
則$e$是屬于$N(A^T)$，而$e$垂直于$C(A)$。
以上也適用于多維情況。
我們從以上式子得出以下結(jié)論：
如果$b$在$A$的列空間內(nèi)（即$b=AX$），則$Pb=b$
如果$b$垂直于$A$的列空間內(nèi)（即$A^{T}b=0$），則$Pb=0$

行列式在二維意義下表示面積的證明

假設(shè)$A$矩陣由$a_1$,$a_2$組成的，即$A=\left[\begin{array}{cc}{a}_1& a_2\end{array}\right]$，如下圖所示：

我們知道這個平行四邊行的面積不就是$a_1$和$e$相乘嘛，即
$$S=||a_1|?||e||$$
我們令$$\begin{gathered} D=|a_1,e| \\ {D}^2=D?D=D^{T}D(利用了行列式的性質(zhì)10)=|(a_1,e{)}^T||(a_1,e)| \\ =|\left(\begin{array}{c}{a}_1^T\\ e^T\end{array}\right)(a_1,e)|=\left|\begin{array}{cc}{a}_1^T{a}_1& a_1^{T}e\\ e^T{a}_1& e^{T}e\end{array}\right|=\left|\begin{array}{cc}{a}_1^T{a}_1& 0\\ 0& e^{T}e\end{array}\right|=||a_1|{|}^2?||e|{|}^2 \end{gathered}$$
則
$$D=\pm ||a_1||?||e||$$
因此$$S=abs(D)=abs(det(a_1,e))$$
由于$$e=a_2?\frac{a_1^T{a}_2}{a_1^T{a}_1}{a}_1=a_2?k{a}_1$$
我們可以將
$$det(a_1,e)=det(a_1,a_2?k{a}_1)=det(a_1,a_2)?det(a_1,k{a}_1)=det(a_1,a_2)$$
最終我們可以將
$$S=abs(det(a_1,a_2))$$
得證。
如果想深入三維的可以看以下的鏈接行列式是面積/體積

二.$A^{T}A$的特性

$A^{T}A$是個對稱的方陣。(nxm mxn結(jié)果為nxn的方陣，m>n)
證明對稱矩陣：
$$(A^{T}A{)}^T=A^{T}A$$

$A^{T}A$的秩和$A$的秩相等，等價于了$A^{T}A$可逆的條件：$A$中有不相關(guān)的列，也等價于$N(A^{T}A)=N(A)$。
證明：
求解$A$的零空間是
$$AX=0$$
求解$A^{T}A$的零空間是
$$A^{T}AX=0$$
我們只需要證明以上兩個式子的解是一樣的就行
$$\begin{gathered} X^T{A}^{T}AX=0 \\ (AX{)}^{T}AX=0 \\ ||AX|{|}^2=0 \end{gathered}$$
則$$AX=0$$
所以$A^{T}AX=0$的解是$AX=0$的解是成立的。
所以有
$$N(A^{T}A)=N(A)$$

我們可以從另外一個角度看，$A^{T}A$是對$A$進行行的線性變換，則$A^{T}A$的行空間在$A$的行空間，因而$A^{T}A$的秩等于$A$的秩。

三.求$AX=b$(無解情況)的近似解

我們之前講過，如果$b$不在$A$的列空間的話，我們無法進行線性組合組成$b$，因此我們必須將$b$投影到$A$的列空間上，這樣才有解。因此我們將方程
$$AX=b$$改寫為$$A\hat{X}=p$$
這也就是我們以上討論的情況。這個$\hat{X}$解是
$$\hat{X}=(A^{T}A{)}^{?1}{A}^{T}b$$
當且僅當$(A^{T}A{)}^{?1}$可逆。
我們可以看下圖$b$的空間分解：
因為我們做的是將$b$投影到列空間$p$上，之前我們證明了列空間和左零空間垂直，因此誤差向量$e$就落在了左零空間上。
我們還可以知道$p=Pb$，而$e=(I?P)b$

四.最小二乘法

在這之前我們都在考慮的是$b$投影到列空間的$p$，而現(xiàn)在我們將注意力轉(zhuǎn)移到$e$上。
先講講最小二乘法，用個例子表示一下就明白了
我們有如下三個值(1,1),(2,2),(3,2)，我們打算去畫出一條線能夠去很好擬合這些點。
我們先假設(shè)這條直線$b=C+Dt$
我們很容易會寫出以下三個式子，我們當然希望這條直線經(jīng)過這三個點了
$$\begin{gathered} C+D=1 \\ C+2D=2 \\ C+3D=2 \end{gathered}$$
我們可以寫成
$$\begin{gathered} ?\begin{array}{cc}1& 1\\ 1& 2\\ 1& 3\end{array}?\left[\begin{array}{c}C\\ D\end{array}\right]=?\begin{array}{c}1\\ 2\\ 2\end{array}? \\ AX=b \end{gathered}$$
而我們不可能找出能過這三個點的直線，因為我們明顯上述式子無解，因此我們將試圖去減小誤差。
$$Minimize||b?A\hat{X}|{|}^2=||e|{|}^2$$
有一種方法就是利用微積分中求極值去求解，另外一種方法如下，利用投影的方法，因為此時誤差是最小的呀，相當于我們求解的是
$$A\hat{X}=p$$
就是解決以下式子$$A^{T}A\hat{X}=A^{T}b$$
$$\left[\begin{array}{ccc}1& 1& 1\\ 1& 2& 3\end{array}\right]?\begin{array}{ccc}1& 1& 1\\ 1& 2& 2\\ 1& 3& 2\end{array}?=\left[\begin{array}{ccc}3& 6& 5\\ 6& 14& 11\end{array}\right]\to \left[\begin{array}{ccc}3& 6& 5\\ 0& 2& 1\end{array}\right]$$
我們可以得出$\hat{C}=2/3\hat{D}=1/2$
這條直線就是$b=\frac{2}{3}+\frac{1}{2}t$。你可以動手算算誤差。

總結(jié)

以上是生活随笔為你收集整理的线性代数系列讲解第八篇投影及AX=b（无解情况）求近似解及最小二乘法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。