ker矩阵是什么意思_如何理解正定矩阵和半正定矩阵
生活随笔
收集整理的這篇文章主要介紹了
ker矩阵是什么意思_如何理解正定矩阵和半正定矩阵
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
乍看正定和半正定會被嚇得虎軀一震,因為名字取得不知所以,所以老是很排斥去理解這個東西是干嘛用的,下面根據自己和結合別人的觀點解釋一下什么是正定矩陣(positive definite, PD) 和半正定矩陣(positive semi-definite, PSD)。
定義
首先從定義開始對PD和PSD有一個初步的概念:
- 正定矩陣(PD):
給定一個大小為 的實對稱矩陣 A ,若對于任意長度為 n 的非零向量 X,有 恒成立,則矩陣 A 是一個正定矩陣。 - 半正定矩陣(PSD)
給定一個大小為 的實對稱矩陣 A ,若對于任意長度為 n 的非零向量 X,有 恒成立,則矩陣 A 是一個半正定矩陣。
說人話來理解
光看定義其實肯定不能理解到底是個啥,以及為什么要這么定義。所以下面用說人話的方式來進行解釋。
仔細看一下上面的定義可以看到兩種矩陣的唯一區別就是正定要求是大于0,而半正定要求大于等于0。這個是不是很像二次函數
:- 當
時, ;- 當
時, 。其實我們可以把
看作是 的多維擴展表達式,我們所說的正定矩陣就是希望矩陣A能夠起到a>0的效果,半正定就是希望有一個矩陣A能夠起到像a≥0的效果。這么說起來你可能還是不太能理解,沒關系,我們進一步從向量相乘的角度來理解。
以正定矩陣為例,它需要滿足
,而且我們知道矩陣相乘(如 )的本質是將向量X按照矩陣A所指定的方式進行變換(你可以通過閱讀理解矩陣等系列文章來對矩陣乘法產生更加深刻的理解)。我們可以記
,那么對于正定矩陣有 ,看到這有沒有想起cos公式呢?如下:下面的內容是一層一層推進的,所以可能有點繞,請耐心閱讀并思考:
- 所以正定矩陣是個什么意思呢?實際上就是說對于一個向量X,我們希望 X在經過有一個矩陣A的變化后得到的新的向量M和它本身的夾角小于90度。
- 而小于90度背后的含義是變換后的向量M是沿著原向量X的正方向進行縮放的(即 M投影回原向量時方向不變)。
- 而上面這句話還可以從特征向量的角度進一步理解,在介紹之前我們回顧一下特征值和特征向量的概念:
首先一個矩陣A的特征向量x就是表示某個向量會沿著特征向量的方向進行變換(縮放),縮放比例由特征值
決定。例如: 很簡單地可以計算得到A的特征值分別是0.5和2,而它們對應的特征向量分別是 和 。所以如果一個向量b左乘一個矩陣A,其本質就是將向量b沿著 和 方向分別放大0.5和2倍。我們假設 ,那么Ab最終得到的向量為 ,結合下圖看更加直觀:我們看上圖,如果其中一個特征值小于0,比如
那么最終得到的向量 投射到方向的向量與 反向。綜上,要使得變換后的向量M與原向量x夾角小于90度,即映射回原來的向量時保持方向不變,那么就需要特征值大于0,所以這也是為什么正定矩陣的特征值都大于0.上面關于正定矩陣的特征值大于0的解釋是比較直觀的一種方式,但是還是會存在一些小問題,所以僅僅只是幫助大家有一個直觀的理解。下面我們也可以從下面的推導來解釋為什么正定矩陣特征值都大于0:
故λ必須大于0,即特征值必須大于0.
MARSGGBO?原創
微信公眾號: 【AutoML機器學習】
AutoML機器學習2019-8-28
總結
以上是生活随笔為你收集整理的ker矩阵是什么意思_如何理解正定矩阵和半正定矩阵的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 近视眼手术-如何治近视-激光近视手术
- 下一篇: 树状结构及文件目录详解