每次手推公式就會遇見各種不會的，在網上搜了個總結的還不錯的常用求導公式。。。繼續更新中……

一、基本線性代數

以下部分原文地址：http://blog.163.com/live_freely/blog/static/151142060201023154057339/

在網上看到有人貼了如下求導公式：

Y = A * X --> DY/DX = A'

Y = X * A --> DY/DX = A

Y = A' * X * B --> DY/DX = A * B'

Y = A' * X' * B --> DY/DX = B * A'

于是把以前學過的矩陣求導部分整理一下：

1. 矩陣Y對標量x求導：

? ?相當于每個元素求導數后轉置一下，注意M×N矩陣求導后變成N×M了

? ?Y = [y(ij)] --> dY/dx = [dy(ji)/dx]

2. 標量y對列向量X求導：

? ?注意與上面不同，這次括號內是求偏導，不轉置，對N×1向量求導后還是N×1向量

? ?y = f(x1,x2,..,xn) --> dy/dX = (Dy/Dx1,Dy/Dx2,..,Dy/Dxn)'

3. 行向量Y'對列向量X求導：

? ?注意1×M向量對N×1向量求導后是N×M矩陣。

? ?將Y的每一列對X求偏導，將各列構成一個矩陣。

? ?重要結論：

? ?dX'/dX = I

? ?d(AX)'/dX = A'

4. 列向量Y對行向量X’求導：

? ?轉化為行向量Y’對列向量X的導數，然后轉置。

? ?注意M×1向量對1×N向量求導結果為M×N矩陣。

? ?dY/dX' = (dY'/dX)'

5. 向量積對列向量X求導運算法則：

? ?注意與標量求導有點不同。

? ?d(UV')/dX = (dU/dX)V' + U(dV'/dX)

? ?d(U'V)/dX = (dU'/dX)V + (dV'/dX)U'

? ?重要結論：

? ?d(X'A)/dX = (dX'/dX)A + (dA/dX)X' = IA + 0X' = A

? ?d(AX)/dX' = (d(X'A')/dX)' = (A')' = A

? ?d(X'AX)/dX = (dX'/dX)AX + (d(AX)'/dX)X = AX + A'X

6. 矩陣Y對列向量X求導：

? ?將Y對X的每一個分量求偏導，構成一個超向量。

? ?注意該向量的每一個元素都是一個矩陣。

7. 矩陣積對列向量求導法則：

? ?d(uV)/dX = (du/dX)V + u(dV/dX)

? ?d(UV)/dX = (dU/dX)V + U(dV/dX)

? ?重要結論：

? ?d(X'A)/dX = (dX'/dX)A + X'(dA/dX) = IA + X'0 = A

8. 標量y對矩陣X的導數：

? ?類似標量y對列向量X的導數，

? ?把y對每個X的元素求偏導，不用轉置。

? ?dy/dX = [ Dy/Dx(ij) ]

? ?重要結論：

? ?y = U'XV = ΣΣu(i)x(ij)v(j) 于是 dy/dX = = UV'

? ?y = U'X'XU 則 dy/dX = 2XUU'

? ?y = (XU-V)'(XU-V) 則 dy/dX = d(U'X'XU - 2V'XU + V'V)/dX = 2XUU' - 2VU' + 0 = 2(XU-V)U'

9. 矩陣Y對矩陣X的導數：

? ?將Y的每個元素對X求導，然后排在一起形成超級矩陣。

?二、具體內容

1. hessian 矩陣，有函數?則其hessian舉證H(f)為

hessian矩陣可以判斷函數的凹凸性，以及函數的極值點問題

當函數二階連續可導時，Hessian矩陣H在臨界點上是一個階的對稱矩陣。

• 當H是正定矩陣時，臨界點是一個局部的極小值，f是下凸函數。
• 當H是負定矩陣時，臨界點是一個局部的極大值，f是上凸函數。
• H=0,需要更高階的導數來幫助判斷。
• 在其余情況下，臨界點不是局部極值

2.??Jensen不等式

如果f是凸函數，X是隨機變量，那么?? ??

????? 特別地，如果f是嚴格凸函數，那么當且僅當，也就是說X是常量。

????? 這里我們將簡寫為。

????? 如果用圖表示會很清晰：

??????

總結

以上是生活随笔為你收集整理的机器学习里面常用知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。