如何理解神經(jīng)網(wǎng)絡(luò)優(yōu)化中Momentem能夠緩解hessian矩陣病態(tài)的問(wèn)題？

1、首先介紹一下，矩陣的病態(tài)問(wèn)題

矩陣病態(tài)主要是因?yàn)榫仃囅蛄恐g相關(guān)性太大，在二維上說(shuō)就是矩陣向量之間的夾角太小，導(dǎo)致這兩個(gè)相似的矩陣向量稍有改變，計(jì)算結(jié)果就會(huì)有很大的不同。

看一個(gè)例子更容易理解：

2、接著介紹下hessian矩陣，

hesiian矩陣很好理解，它就是是一個(gè)多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的方陣，描述了函數(shù)的局部曲率。

在神經(jīng)網(wǎng)絡(luò)的優(yōu)化中，hesiian矩陣病態(tài)就表現(xiàn)在局部最小點(diǎn)和鞍點(diǎn)，因?yàn)樵诰植孔钚↑c(diǎn)和鞍點(diǎn)處四周的梯度變化率（梯度和二階導(dǎo)都是相似的）都是相似的，但是往不同的梯度方向前進(jìn)又會(huì)導(dǎo)致優(yōu)化結(jié)果有較大的差異。

3、這樣就容易理解了，Momentum有一定的擺脫局部最小點(diǎn)和鞍點(diǎn)的能力，所以也就可以說(shuō)成能一定程度上緩解hessian矩陣病態(tài)的問(wèn)題，其實(shí)這是同一個(gè)問(wèn)題的不同表述。

總結(jié)

以上是生活随笔為你收集整理的如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。