? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?機器學習中的矩陣方法02：正交

?

說明：Matrix Methods in Data Mining and Pattern Recognition 讀書筆記

?

1. 正交的一些概念和性質

在前一章的最小二乘的問題中，我們知道不恰當的基向量會出現條件數過大，系統防干擾能力差的現象，這實際上和基向量的正交性有關。

兩個向量的內積如果是零， 那么就說這兩個向量是正交的，在三維空間中，正交的兩個向量相互垂直。如果相互正交的向量長度均為 1, 那么他們又叫做標準正交基。

正交矩陣則是指列向量相互正交的方陣。標準正交矩陣有具有如下性質：

若 P 和 Q 是標準正交矩陣，那么 X = PQ 也是標準正交矩陣。

正交矩陣最重要的性質之一是它的變換可以保證一個向量的長度不變（主要使方向發生變化），包括 Euclidean lenght , matrix norm 和 Frobenius norm.

?

2. 正交矩陣

在復平面內，將一個向量逆時針旋轉??角度，只需要在該復數前面乘以??即可，現在我們要順時針旋轉，利用歐拉公式：

假設現在有一個復數： a + i b

左乘上面公式得到：

上述運算寫成矩陣相乘的形式即為：

其中，左邊的平面旋轉矩陣（每一項少了一個）就是一個標準的正交方陣，可以保證旋轉后的向量與原來的向量長度相同。

有了?Givens?旋轉方法，只要確定兩個坐標之間的夾角，我們可以將任意向量旋轉到單位向量 e1 上，過程如下：

用公式可以表示為：

有性質2（若 P 和 Q 是標準正交矩陣，那么 X = PQ 也是標準正交矩陣）推導出這個變換矩陣也是一個標準正交矩陣。

所以，向量長度不變：

?

3. Householder Transformations

現在手頭有某一個向量 x， 想通過一個標準正交矩陣 P 將 x 轉換為 y，有什么方法可以求出矩陣 P？一種方法是通過上面的旋轉一步一步完成，P = G1G2G3。這里，我們有一個更加快捷的公式，即為 Householder Transformations.

拿上一小節的例子，求轉換矩陣 P 的運算過程如下：

,

,

（u是v的歸一化向量）

運算很簡單，可以用筆驗證上述過程是否正確。

Px=x-2uu'x ? 這里uu’即為x在u方向上的投影矩陣（uu'/u'u為投影矩陣，這里u'u=1），因此下圖的虛線即為等腰三角形頂點得角平分線

用維基百科里面的一個圖（u和v標反了）可以將上述運算過程表示成：

?

?

?

?

?

?

?The goal is to find a linear transformation that changes the vector??into a vector of same length which is collinear to?. We could use an orthogonal projection (Gram-Schmidt) but this will be numerically unstable if the vectors??and??are close to orthogonal. Instead, the Householder reflection reflects through the dotted line (chosen to bisect（一分為二） the angle between??and?). The maximum angle with this transform is at most 45 degrees.

總結

以上是生活随笔為你收集整理的矩阵论基础知识2（正交、 Givens 变换、Householder变换）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。