一、最大熵原理

????最大熵原理是概率模型學習的一個準則。最大熵原理認為，在學習概率模型時，在所有可能的概率分布中，熵最大的模型是最好的模型。通常用約束條件來確定概率模型的集合，所以，最大熵模型也可以表述為在滿足約束條件的模型集合中選取熵最大的模型。
????假設離散型隨機變量X的概率分布式P(X)，則其熵是：

H(P)=?∑xP(x)logP(x)
熵滿足下列不等式：
0≤H(P)≤log|x|
式中， |X|是 X取值個數，當且僅當X的分布是均勻分布時右邊的等號成立。這就是說，當 X服從均勻分布時，熵最大。

二、最大熵模型的定義

     假設分類模型是一個條件概率分布P(Y|X)，X∈X?Rn， 表示輸入， Y∈Y表示輸出， X,Y分別是輸入和輸出的集合。這個模型表示的是對于給定的輸入 X，以條件概率P(Y|X)輸出 Y.
    給定一個訓練數據集
T={(x1,y1),(x2,y2),…,(xN,yN)}
學習的目標是用最大熵原理選擇最好的分類模型。
???? 對于給定的數據集，我們可以確定聯合分布的經驗分布和邊緣分布的經驗分布。用特征函數 f(x,y)描述 x,y之間的一個事實,即：
f(x,y)={1,0,x與y滿足某一事實否則

特征函數f(x,y)關于經驗分布P?(X,Y)的期望值, 用Epˉ(f)表示。

Epˉ(f)=∑x,yP?(x,y)f(x,y)

特征函數f(x,y)關于模型P(Y|X)與經驗分布 P?(X)的期望值， 用Ep(f)表示

Ep(f)=∑x,yP?(x)P?(y|x)f(x,y)

如果模型可以獲得訓練數據中的信息， 我們就可以假設這兩個期望相等：

Epˉ(f)=Ep(f)

定義(最大熵模型) 假設滿足所有約束條件的模型集合為

C≡{P∈P|Epˉ(fi)=Ep(fi),i=1,2…,n}
定義在條件概率分布 P(Y|X)上的條件熵為：
H(P)=?∑x,yP?(x)P(y|x)logP(y|x)
則模型集合 C中條件熵 H(P)最大的模型稱為最大熵模型，對數為自然對數。后續將繼續給出求解最大熵模型的過程。

總結

以上是生活随笔為你收集整理的机器学习笔记（十九）——最大熵原理和模型定义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。