??????? 在使用BA平差之前，對每一個觀測方程，得到一個代價函數。對多個路標，會產生一個多個代價函數的和的形式，對這個和進行最小二乘法進行求解，使用優化方法。相當于同時對相機位姿和路標進行調整，這就是所謂的BA。

??????? 在優化過程中，對每一個代價函數求取雅克比矩陣E和F，形成一個H矩陣，正因為H矩陣的稀疏性，才可是使用稀疏方法對BA進行求解。把一個大的稀疏矩陣，通過特定的消元法，消解為一個小的稠密矩陣，降低計算量。

??????? 摘抄部分有趣的鏈接，如有不適，請移步原文。

??????? 參考原文鏈接：Jacobian矩陣和Hessian矩陣

?

1. Jacobian

??????? 在向量分析中, 雅可比矩陣是一階偏導數以一定方式排列成的矩陣, 其行列式稱為雅可比行列式.。

??????? 還有, 在代數幾何中, 代數曲線的雅可比量表示雅可比簇：伴隨該曲線的一個代數群, 曲線可以嵌入其中. 它們全部都以數學家卡爾·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以發音為[ja ?ko bi ?n]或者[?? ?ko bi ?n].

雅可比矩陣

雅可比矩陣的重要性在于它體現了一個可微方程與給出點的最優線性逼近. 因此, 雅可比矩陣類似于多元函數的導數.

假設F:Rn→Rm是一個從歐式n維空間轉換到歐式m維空間的函數. 這個函數由m個實函數組成: y1(x1,…,xn), …, ym(x1,…,xn). 這些函數的偏導數(如果存在)可以組成一個m行n列的矩陣, 這就是所謂的雅可比矩陣：

此矩陣表示為: JF(x1,…,xn), 或者?(y1,…,ym)/?(x1,…,xn).

這個矩陣的第i行是由梯度函數的轉置yi(i=1,…,m)表示的.

如果p是Rn中的一點,F在p點可微分, 那么在這一點的導數由JF(p)給出(這是求該點導數最簡便的方法). 在此情況下, 由F(p)描述的線性算子即接近點p的F的最優線性逼近,x逼近于p:

F(x)≈F(p)+JF(p)?(x–p)

?

雅可比行列式

如果m = n, 那么F是從n維空間到n維空間的函數, 且它的雅可比矩陣是一個方塊矩陣. 于是我們可以取它的行列式, 稱為雅可比行列式.

在某個給定點的雅可比行列式提供了 在接近該點時的表現的重要信息. 例如, 如果連續可微函數F在p點的雅可比行列式不是零, 那么它在該點附近具有反函數. 這稱為反函數定理. 更進一步, 如果p點的雅可比行列式是正數, 則F在p點的取向不變；如果是負數, 則F的取向相反. 而從雅可比行列式的絕對值, 就可以知道函數F在p點的縮放因子；這就是為什么它出現在換元積分法中.

對于取向問題可以這么理解, 例如一個物體在平面上勻速運動, 如果施加一個正方向的力F, 即取向相同, 則加速運動, 類比于速度的導數加速度為正；如果施加一個反方向的力F, 即取向相反, 則減速運動, 類比于速度的導數加速度為負.

?

2. 海森Hessian矩陣

在數學中, 海森矩陣(Hessian matrix或Hessian)是一個自變量為向量的實值函數的二階偏導數組成的方塊矩陣,

此函數如下：

f(x1,x2…,xn)

如果f 的所有二階導數都存在, 那么f

的海森矩陣即：

H(f)ij(x)=DiDjf(x)

其中x=(x1,x2…,xn), 即H(f)為:

(也有人把海森定義為以上矩陣的行列式)海森矩陣被應用于牛頓法解決的大規模優化問題.

海森矩陣在牛頓法中的應用

一般來說, 牛頓法主要應用在兩個方面, 1, 求方程的根; 2, 最優化.

1), 求解方程

并不是所有的方程都有求根公式, 或者求根公式很復雜, 導致求解困難. 利用牛頓法, 可以迭代求解.

原理是利用泰勒公式, 在x0處展開, 且展開到一階, 即f(x)=f(x0)+(x–x0)f′(x0)

求解方程f(x)=0, 即f(x0)+(x–x0)f′(x0)=0, 求解x=x1=x0–f(x0)/f′(x0), 因為這是利用泰勒公式的一階展開, f(x)=f(x0)+(x–x0)f′(x0)處并不是完全相等, 而是近似相等, 這里求得的x1并不能讓f(x)=0, 只能說f(x1)的值比f(x0)更接近f(x)=0, 于是乎, 迭代求解的想法就很自然了, 可以進而推出?xn+1=xn–f(xn)/f′(xn), 通過迭代, 這個式子必然在f(x?)=0的時候收斂.

整個過程如下圖：

?

2), 最優化

在最優化的問題中, 線性最優化至少可以使用單純形法(或稱不動點算法)求解, 但對于非線性優化問題, 牛頓法提供了一種求解的辦法.

假設任務是優化一個目標函數f, 求函數f的極大極小問題, 可以轉化為求解函數f的導數f′=0的問題, 這樣求可以把優化問題看成方程求解問題(f′=0). 剩下的問題就和第一部分提到的牛頓法求解很相似了.

這次為了求解f′=0的根, 把f(x)的泰勒展開, 展開到2階形式：

f(x+Δx)=f(x)+f′(x)Δx+12f′′(x)Δx2

這個式子是成立的, 當且僅當?Δx無限趨近于0時,f(x+Δx)=f(x), 約去這兩項, 并對余項式f′(x)Δx+12f”(x)Δx2=0對Δx求導(注:f′(x),f”(x)

均為常數項. 此時上式等價與：

????????? f′(x)+f′′(x)Δx=0

求解：

????????? Δx=?f′(xn)f′′(xn)

得出迭代公式：

????????? xn+1=xn?f′(xn)f′′(xn),n=0,1,...

一般認為牛頓法可以利用到曲線本身的信息, 比梯度下降法更容易收斂（迭代更少次數）, 如下圖是一個最小化一個目標方程的例子, 紅色曲線是利用牛頓法迭代求解, 綠色曲線是利用梯度下降法求解.

???????????

在上面討論的是2維情況, 高維情況的牛頓迭代公式是：

?????? xn+1=xn?[Hf(xn)]–1?f(xn),n≥0

其中H是hessian矩陣, 定義見上.?

高維情況依然可以用牛頓迭代求解, 但是問題是Hessian矩陣引入的復雜性, 使得牛頓迭代求解的難度大大增加, 但是已經有了解決這個問題的辦法就是Quasi-Newton method, 不再直接計算hessian矩陣, 而是每一步的時候使用梯度向量更新hessian矩陣的近似.

[參考: Wikipedia]

此條目由 jacoxu 發表在 Optimization Theory 分類目錄，并貼了 Hessian、Jacobian 標簽。將固定鏈接加入收藏夾。

總結

以上是生活随笔為你收集整理的三维重建4：Jacobian矩阵和Hessian矩阵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。