聯合熵

• • Q：什么是聯合熵？
  • Q：聯合熵的物理意義是什么？

Q：什么是聯合熵？

聯合熵就是度量一個聯合分布的隨機系統的不確定度，下面給出兩個隨機變量的聯合熵的定義：
分布為 $p(x,y)$ 的一對隨機變量 $(X,Y)$ ,其聯合熵定義為：

$H(X,Y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=E\left[\log \frac{1}{p(x,y)}\right]$

與信息熵一樣也是一個數學期望

Q：聯合熵的物理意義是什么？

聯合熵的物理意義是:觀察一個多個隨機變量的隨機系統獲得的信息量。

為了進一步剖析聯合熵，我們對其的進行數學推導如下：

$H(X,Y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x,y)=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)p(y|x)$

$=?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=?{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$

$=H(X)+H(Y|X)$

注： $?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(x)$ 通過邊緣化 $y$ 得到 $?{\sum }_{x\in \mathcal{X}}^{}p(x)\log p(x)$

其中，條件熵 $H(Y|X)$ 由 $?{\sum }_{x\in \mathcal{X}}^{}{\sum }_{y\in \mathcal{Y}}^{}p(x,y)\log p(y|x)$ 所定義，其物理意義就是，在得知某一確定信息的基礎上獲取另外一個信息時所獲得的信息量。

繼續討論聯合熵，對于式子 $H(X,Y)=H(X)+H(Y|X)$ 所表達的物理含義是，對一個兩個隨機變量的隨機系統，我們可以先觀察一個隨機變量獲取信息量，觀察完后，我們可以在擁有這個信息量的基礎上觀察第二個隨機變量的信息量。其那么先觀察哪一個隨機變量對信息量的獲取有影響嗎？利用概率論的知識，我們可以輕易得出：$H(X,Y)=H(Y)+H(X|Y)$。也就是說，先觀察誰，對信息量都不會有影響，這是非常符合直覺的。

基于上述的討論，我們不禁會問，如果有n個隨機變量處于一個隨機系統中，那么我們獲取其聯合熵也是無關觀察先后嗎？答案是肯定的。為了說明原因，我們給出熵的鏈式法則：

設隨機變量 $X_1,X_2,?,X_n$ 服從 $p(x_1,x_2,?,x_n)$ ,則有：
$H(X_1,X_2,?,X_n)={\sum }_{i=1}^{n}H(X_i|X_{i?1},?,X_1)$
我們可以利用數學推導證明：

$H(X_1,X_2,?,X_n)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_n)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_{n?1})p(x_n|x_1,?,x_{n?1})=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)\log p(x_1,?,x_{n?2})p(x_{n?1}|x_1,?,x_{n?2})p(x_n|x_1,?,x_{n?1})=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n)log{\prod }_{i=1}^{n}p(x_i|x_{i?1},?,x_1)=?{\sum }_{x_1,?,x_n\in {\mathcal{X}}^n}^{}p(x_1,?,x_n){\sum }_{i=1}^n\log p(x_i|x_{i?1},?,x_1)=?{\sum }_{i=1}^n{\sum }_{x_1,?,x_i\in {\mathcal{X}}^i}^{}p(x_1,?,x_i)\log p(x_i|x_{i?1},?,x_1)={\sum }_{i=1}^{n}H(X_i|X_{i?1},?,X_1)$

注： $?{\sum }_{i=1}^n{\sum }_{x_1,?,x_i\in {\mathcal{X}}^i}^{}p(x_1,?,x_i)\log p(x_i|x_{i?1},?,x_1)$ 這一步變換也是使用了邊緣化。

從鏈式法則，我們可以更進一步得到，如果隨機變量 $X_1,X_2,?,X_n$ 是獨立的，那么聯合熵則可以表示為：

$H(X_1,X_2,?,X_n)={\sum }_{i=1}^{n}H(X_i)$

總結

以上是生活随笔為你收集整理的信息论——联合熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。