先定義消元：在解線性方程組的時(shí)候，把一個(gè)變量帶入到另外一個(gè)變量中，達(dá)到減少變量的就結(jié)果。

• 雖然方程數(shù)少了，但是單個(gè)方程變復(fù)雜了，所以其實(shí)方程組攜帶的信息并沒(méi)有減少。
• 如果把方程組寫成矩陣形式，就對(duì)應(yīng)之前線性代數(shù)學(xué)的高斯消元。
• 消元的一個(gè)作用是把方程變成上三角形式，就可以很輕松的計(jì)算出方程組的解。能計(jì)算出解，那么也能求出對(duì)應(yīng)矩陣的逆。這就是為什么消元很重要的原因。

再定義邊緣化：邊緣化的普通定義我就不多說(shuō)了，就是求積分那個(gè)。

• 當(dāng)我們是邊緣化一個(gè)多元高斯分布的隨機(jī)變量的時(shí)候，如果我們知道這個(gè)隨機(jī)變量的均值和協(xié)方差矩陣（）。那么邊緣化就是直接把中對(duì)應(yīng)于要保留的分量拿出來(lái)就行。
• 假設(shè)a是要保留的，b是要被邊緣化的。那么邊緣化后不帶b的概率分布就是只保留中和a有關(guān)的那一部分。

多元高斯分布的最大后驗(yàn)值（MAP）

• 我們想知道x取什么的時(shí)候，這個(gè)函數(shù)的值最大。很顯然就是x=的時(shí)候
• 高斯函數(shù)還有另外一種表示方法
• 其實(shí)就是把exp里面的展開(kāi)就能得到這個(gè)表達(dá)：，
• 這里面叫做信息向量，就是傳說(shuō)中的信息矩陣了
• 如果我們知道的表達(dá)形式是這種形式，就不能直接通過(guò)讀均值知道MAP的結(jié)果了。
• 這種表示情況下MAP的結(jié)果是。也就是我們需要求信息矩陣的逆才能得到想要的東西。矩陣求逆等價(jià)于求方程，所以就和消元扯上關(guān)系了。

高斯分布條件下消元和邊緣化的關(guān)系

• 基于上面的分析，邊緣化是求中只和某些變量相關(guān)block。也就是求中的元素和中要求的block的關(guān)系。和是逆的關(guān)系，所以中的每一個(gè)元素都和中的每一個(gè)元素有關(guān)。既然是求逆，也就和消元搭上關(guān)系了。
• 既然和中的所有元素都有關(guān)，所以不是簡(jiǎn)單的丟棄性息。

和狀態(tài)求解的關(guān)系

• 如果我們之表達(dá)相互獨(dú)立的每次觀察的結(jié)果的時(shí)候，可以直接用第一種表達(dá)寫出觀察兩的分布。并且我們還知道我們真正關(guān)心的值和觀察量之間有一定關(guān)系。也就是基于現(xiàn)實(shí)所知的信息能寫出的一個(gè)表達(dá)通常是。
• x是一個(gè)隨即變量，是我們想要求得的分布。A和b是已知的數(shù)據(jù)。Ax-b的到的隨機(jī)變量分布也是已知的，是均值為0，協(xié)防差是的高斯分布。
• Mahalanobis距離是可以轉(zhuǎn)化為L(zhǎng)2距離：->，所以最終高斯函數(shù)的表示變?yōu)?。多個(gè)這樣的表示連乘求對(duì)數(shù)，對(duì)應(yīng)為多個(gè)相加。
• Bx-d的結(jié)果是一個(gè)向量，就是向量點(diǎn)乘的直。
• 的形式為多個(gè)項(xiàng)的平方加在一起。B有多少行，這個(gè)平方和就有多少項(xiàng)。多個(gè)加一起，就是把這些平方全部加一起。所以可以組成一個(gè)大矩陣。這個(gè)矩陣的列數(shù)等于x的維度。行數(shù)為所有B的行數(shù)的和。
• 只有一個(gè)因子內(nèi)部會(huì)有交叉項(xiàng)，因子之間不會(huì)出現(xiàn)交叉項(xiàng)。這就是為什么分布圖里面對(duì)角上面會(huì)很密集。
• 我們知道當(dāng)=0的時(shí)候，對(duì)應(yīng)概率密度函數(shù)最大。所以就是要求解這個(gè)方程了。
• 因?yàn)锽不是方陣，所以不能簡(jiǎn)單的用B的逆來(lái)求解，而要用廣義逆。
• 在注意這里不能直接和上面的信息矩陣對(duì)應(yīng)

和矩陣分解的關(guān)系

• 在求逆的時(shí)候，會(huì)使用矩陣分解的方法。
• 而矩陣的順序?qū)仃嚪纸獾挠?jì)算量影響很大，比如slam中把和3d點(diǎn)有關(guān)的誤差項(xiàng)排列在后面一起可以打打減少計(jì)算量。所以怎么排列矩陣就是一個(gè)大學(xué)問(wèn)，isam中通過(guò)對(duì)圖的變換，自動(dòng)的實(shí)現(xiàn)最優(yōu)的排列。并且當(dāng)有新的變量加入的時(shí)候，通過(guò)對(duì)圖的分析可以知道，那些因子是受新變量影響的哪些不是。從而實(shí)現(xiàn)部分更新。

總結(jié)

以上是生活随笔為你收集整理的变量消元(Varible Elimination)和概率边缘化(Marginalization)的关系的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。