1.高斯混合模型是由若干的基于高斯概率密度函數形成的模型

2.從幾何角度，GMM是多個高斯分布疊加而成的加權平均的結果

3.從混合模型角度，每個樣本是從某個高斯分布抽樣得到的

4.直接利用MLE無法求解高斯混合模型，得利用EM算法求解GMM

5.假設K個高斯分布組成的GMM，求解參數有3K個：每個高斯分布的抽樣概率，每個高斯分布的均值和協方差矩陣

高斯混合模型，英文是Gaussian Mixture Model，簡稱GMM。它是一個將事物分解為若干的基于高斯概率密度函數形成的模型，屬于生成模型。

兩個角度看GMM

我們可以從兩個角度來理解GMM，第一個角度是幾何角度，從這個角度看，GMM是多個高斯分布疊加而成的加權平均的結果。

假設由k個高斯分布疊加而成，某個樣本x的概率分布為：

舉一個例子

假設x是一維的數據，XX屬于樣本，紅色曲線是真實的概率密度函數，對這些樣本建模，可以生成兩個高斯分布，對應兩條概率密度藍色曲線.

第二個角度是混合模型角度，它假設樣本是從不同k個高斯分布生成的，每個樣本是從某個高斯分布抽樣得到的，抽中這K個高斯分布的概率不一樣，我們用一個隱變量定義這種抽樣概率大小，其是服從某種概率分布的離散隨機變量：

Z	Z1	Z2	......	Zk
P	p1	p2	......	pk

顯然，

生成過程分四步：選定某個狀態隱變量Z；從該隱變量對應的高斯分布隨機生成一個樣本；重復上述過程m次；得到一共m個樣本，這m個樣本來自這K個高斯分布。

用概率圖模型表示為：

我們求解一個樣本的概率分布：

可見，與幾何角度是一致的，權值就是隱變量的取值概率。

這里需要提出一點的是，任意一個樣本x都可以屬于K個高斯分布。我們把x歸類為概率更高的那個隱變量對應的高斯分布。

比如下面是一個二維的高斯混合模型：

該模型由兩個高斯分布混合而成，對于藍色樣本，它既可以從C1高斯分布抽樣得到，又可以屬于C2高斯分布抽樣得到，顯然，屬于C1的概率更好，我們就認為該樣本是從C1抽樣的。

MLE求解GMM

如果有一堆樣本x，我們希望求解GMM的參數。上一小節我們用p(x)表示一個樣本的概率分布，這節我們用來表示m個樣本的聯合概率分布，構造似然函數：

應用MLE，最后要求解的參數是：

這種形式MLE無能為力，無法求得其參數解。需要用到EM算法

EM算法求解GMM

這節我們看看EM算法是如何求解GMM模型的。

注：傳送門——EM算法

Em算法迭代公式：

• E-step

高斯混合模型中,z是離散變量，于是我們有：

又因為

因此，Q可以化簡為：

又因為

最終我們得到Q的表達式：

• M-step

前面我們求出了期望，也就是求得隱變量的后驗，我們要基于此，求解下一組參數：

說明：后驗的參數均為第t次迭代結果，已知(紅色框)

我們改寫一下，可得：

求解pk，轉為最優化問題：

構造拉格朗日乘子：

對pk求導并置為0：

從而

我們得到pk的迭代公式。

同樣我們對均值和協方差構造拉格朗日函數求解，最終解得：

至此，GMM模型求解完成。

總結

以上是生活随笔為你收集整理的混合高斯模型_高斯混合模型（GMM）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。