以下內(nèi)容是根據(jù)劉建平的求導(dǎo)博客做的相關(guān)筆記

一、導(dǎo)數(shù)的定義與布局

1. 相關(guān)說(shuō)明

2.導(dǎo)數(shù)布局

導(dǎo)數(shù)部分有分子布局和分母布局兩種情況。
分子布局和分母布局相差一個(gè)轉(zhuǎn)置。

• 標(biāo)量對(duì)向量求導(dǎo)布局
  
• 向量對(duì)向量求導(dǎo)布局
  
• 求導(dǎo)布局總結(jié)
  
• 標(biāo)量對(duì)向量或矩陣求導(dǎo)，以分母布局為主。向量對(duì)向量求導(dǎo)，以分母布局為主。

二、矩陣向量求導(dǎo)之定義法

寫出單個(gè)元素間的求導(dǎo)關(guān)系，得出求導(dǎo)結(jié)果。
思路簡(jiǎn)單，適用于求解簡(jiǎn)單關(guān)系的導(dǎo)數(shù)

2.1 標(biāo)量對(duì)向量求導(dǎo)

2.2 標(biāo)量對(duì)矩陣求導(dǎo)

2.3 向量對(duì)向量求導(dǎo)

三、矩陣向量求導(dǎo)之微分法

3.1 矩陣微分

3.2 矩陣微分的性質(zhì)

矩陣跡相關(guān)


$A?A^{?}=\left|A\right|$
$A^{?}=\left|A\right|A^{?1}$
$A^{?}$是$A$的伴隨矩陣，$A$相應(yīng)位置的代數(shù)余子式構(gòu)成的矩陣

3.3使用微分法求解矩陣向量求導(dǎo)

$d(tr(X))=tr(d(x))$
$(uv{)}^{{}^{\prime }}=u^{{}^{\prime }}v+u{v}^{{}^{\prime }}$

四、鏈?zhǔn)椒▌t

4.1 鏈?zhǔn)椒▌t與矩陣相容

鏈?zhǔn)疥P(guān)系成立的條件是，相互關(guān)聯(lián)的變量都是向量。

$\mathbf{x}$，$\mathbf{y}$,$\mathbf{z}$都是向量時(shí)，用上面的鏈?zhǔn)椒▌t公式直接求解。
當(dāng)最終的變量是標(biāo)量時(shí)，按上面公式計(jì)算會(huì)出現(xiàn)維度不相容的情況。需要按下面的方法計(jì)算：

總結(jié)

以上是生活随笔為你收集整理的机器学习中矩阵向量求导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。