矩陣分析與應用第五章——梯度分析與最優化

• 一、梯度
• • 1.實值函數對實向量的梯度
  • 2. 矩陣微分
• 二、梯度算法
• • 1. 共軛梯度法

一、梯度

1.實值函數對實向量的梯度

• 梯度算子：
  
• 梯度：
  
• 矩陣求導計算公式
  
  
  
  

2. 矩陣微分

• Jacobian矩陣
  
• 向量函數的梯度
  
• 矩陣微分常用法則
  
  
• 兩個向量內積和二次型梯度
  
  

二、梯度算法

1. 共軛梯度法

• 問題描述：
  考察線性方程組
  $$Ax=b$$
  要求A為對稱正定矩陣
  求解線性方程組即求解目標函數$J(x)$的極小值
  $$minJ(x)=\frac{1}{2}{x}^{T}Ax?b^{T}x$$
  因為$J^{\prime }(x)=Ax?b$
• 下面幾個定義
  （1）記目標函數J(x）的共軛梯度為g（x），則
  $$g(x)=J^{\prime }(x)=Ax?b=r(x)$$
  其中$r(x)$為解向量x的殘差向量。即
  （2）共軛正交：
  
• 推導過程：
  
  為了確定a_i，用矩陣p_i^HA左乘（5.7.8）兩邊，得到
  
  因此，將a_i帶入（5.7.8）得到
  
  
  
  主要思想：
  
  共軛方向定理：
  
  
  可以證得共軛方法的正確性。
  算法：
  
  其中倒數第二行的β_k修改為β_k+1。
  有兩個博客共軛梯度講解很好
  https://blog.csdn.net/lusongno1/article/details/78550803
  https://blog.csdn.net/weixin_37895339/article/details/84640137

總結

以上是生活随笔為你收集整理的矩阵分析与应用（二）————梯度分析与最优化的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。