常用矩阵运算
作者:桂。
時間:2017-09-09 ?12:48:45
鏈接:http://www.cnblogs.com/xingshansi/p/7498175.html?
一、復數(shù)相乘
可以表示為分塊的形式:
二、范數(shù)
A-范數(shù)基本定義
p = 0,0范數(shù),對應非零元素個數(shù);
p = 1,1范數(shù),也成和范數(shù);
p = 2,常稱為Euclidean范數(shù),也成Frobenius范數(shù)
p = ∞, 無窮范數(shù),也稱極大范數(shù)。
直接定義p,則p范數(shù)或Minkowski p范數(shù),也叫Holder范數(shù)。
B-其他常用范數(shù)
1-譜范數(shù)(spectrum norm)
其中是矩陣A的最大奇異值,即最大特征值的正平方根。
譜范數(shù)也稱最大奇異值范數(shù)或者算子范數(shù)(operator norm)。
2-Mahalanobis范數(shù)
其中是正定矩陣。
三、矩陣的跡
A-跡的一般性質
跡等于特征值之和:
而根據(jù)SVD分解特性(PCA、KL變換均有用到),可知特征值體現(xiàn)的是能量,故矩陣的跡可以與Euclidean范數(shù)建立聯(lián)系:
B-跡的其他特性
其實矩陣的跡,借助矩陣分解來理解會容易很多,跡的其他特性:
由于1標量可以,其本身看作與跡等價,從而有(tr(AB)=tr(BA)、對角和=跡,借助這兩條性質可證):
C-跡的微分特性
1)若W是mxm的矩陣:
2)若W可逆:
?
3)對于矩陣W、A,有
4)若W非奇異,
5)對于矩陣W、A:
6)對于矩陣W、A、B,且W非奇異:
?
四、行列式
?給出行列式定義:
對于一個三角矩陣A:
另外,
五、矩陣求逆
A-矩陣求逆基本性質
若A\B\C可逆:
若A為對角陣:
若A非奇異:
B-矩陣求逆引理
求逆引理,也稱Sherman-Morrison公式:若A是一個nxn的可逆矩陣,且x和y是兩個nx1的向量,使得 可逆,則:
該引理可進一步推廣為矩陣之和的求逆公式:
簡化的形式:
分塊矩陣求逆:
1)若A可逆:
2)若A、D均可逆:
C-廣義逆矩陣
廣義逆矩陣參考之前的博文。
六、Hadamard積與Kronecker積
A-矩陣的直和
mxm的矩陣A與nxn的矩陣B,其直和記作:,它是一個(m+n)x(m+n)的矩陣,
B-Hadamard積
Hadamard積其實就是對應元素相乘。
兩個mxn的矩陣、,其Hadamard積記作:,
C-Kronecker積
Kronecker積表示的是矩陣元素與另一矩陣相乘的運算,用表示。
?1)右Kronecker積:mxn矩陣A和pxq的矩陣B:
?2)左Kronecker積:mxn矩陣A和pxq的矩陣B:
其中同樣可以寫為。
七、矩陣梯度
一個基本形式是:
借助該形式,即可完成一般的梯度求解:
?同時,結合梯度的四個基本法則,便可完成常用的梯度求解。
1)線性法則
2)乘積法則
3)商法則
4)鏈式法則
總結
- 上一篇: 消息称索尼将于今年 4 月推出 PS5
- 下一篇: 科技公司掀起裁员潮,Spotify 宣布