從jensen不等式到相對熵的非負(fù)性性

?前言：在上上次博客我們證明觀測到的歸一化的頻率就是最大似然估計的解時，我們用到了相對熵恒大于等于0的性質(zhì)，那么本文就當(dāng)是擴(kuò)展一下知識，主要以證明和介紹為主。
? 首先我們簡要介紹一下熵的概念。“熵”這一概念并不僅僅存在于物理化學(xué)中，還應(yīng)用于信息論中。熵是結(jié)果不確定度的一種度量。shannon熵定義為：
$H(x)=?{\sum }_{i}P\left(x_i\right)\log P\left(x_i\right)$
其中X為隨機(jī)變量，它在K個事件$x_1$,$x_2$,$x_k$的離散集合上有概率P($x_i$)
?ps:我們可以試著證明一下當(dāng)其實均勻分布時，它的熵值最大。(思路提示：可以用用最小二乘法。具體詳見下篇文章。)
? 相對熵又稱KL散度，信息散度，是兩個概率分布間差異的非對稱性度量。令P(X),Q(X)是隨機(jī)變量X的概率分布，則在其實離散型隨機(jī)變量的情況下，相對熵為：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$
? 故我們觀察相對熵的形式可以發(fā)現(xiàn)，它可以看做是對數(shù)幾率(計分矩陣中的分值)的期望，即將P(X)看做是在匹配模型M中的殘基a,b的聯(lián)配概率，而Q(X)看做是無關(guān)模型中的殘基a,b的獨(dú)立出現(xiàn)的概率。故相對熵可作為模型的期望分值。
? 回歸本文的主題，即證明相對熵的正定性。因為證明的過程中用到了jensen
不等式，所以我們先證明一下jensen不等式。
? jensen不等式在概率論、機(jī)器學(xué)習(xí)、測度論等有著廣泛的應(yīng)用。
?證明之前我們先了解凸函數(shù)的性質(zhì)：
$tf\left(x_1\right)+(1?t)f\left(x_2\right)\ge f\left(t{x}_1+(1?t)x_2\right)$
$x_1$,$x_2$是凸函數(shù)上的任意兩點，且t屬于[0,1]

證明過程如下：
? 若對于任意的點集{$x_i$},若${\lambda }_i$>0,且${\sum }_i{\lambda }_i=1$， 請證明凸函數(shù)f(x)滿足：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
數(shù)學(xué)歸納法進(jìn)行證明：
當(dāng)i=1或2時，由凸函數(shù)的性質(zhì)一易知該不等式成立。
假設(shè)當(dāng)i=M時，不等式成立。
現(xiàn)在證當(dāng)i=M+1時，該不等式也成立。即證明： $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$ ?我們首先處理不等號左邊的式子：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$ = $f\left({\sum }_{i=1}^M{\lambda }_i{x}_i+{\lambda }_{M+1}{x}_{M+1}\right)$
為了符合凸函數(shù)中t,(1-t)的形式，我們令$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$

故 $f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)$=$f\left({\lambda }_{M+1}{x}_{M+1}+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_i{x}_i\right)$
所以根據(jù)凸函數(shù)的性質(zhì)對等號右邊的式子進(jìn)一步處理可得：

$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right)f\left({\sum }_{i=1}^M{a}_i{x}_i\right)$
根據(jù)我們的假設(shè)當(dāng)i=M,不等式成立得：
$f\left({\sum }_{i=1}^m{a}_i{x}_i\right)?{\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$
所以將上一個式子帶入上上個式子中得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)\le {\lambda }_{M+1}f\left(x_{M+1}\right)+\left(1?{\lambda }_{M+1}\right){\sum }_{i=1}^M{a}_{i}f\left(x_i\right)$

又因為$a_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$ 代入得：
$f\left({\sum }_{i=1}^{M+1}{\lambda }_i{x}_i\right)?{\lambda }_{M+1}f\left(x_{M+1}\right)+{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$=${\sum }_{i=1}^{M+1}{\lambda }_{i}f\left(x_i\right)$
?因此當(dāng)i=M+1時，jensen不等式亦成立。
綜上，jensen不等式成立。同理可證，但函數(shù)為凹函數(shù)時，jensen不等式的符號相反。
?jensen不等式可以用來證明均值不等式、Holder不等式以及柯西不等式。同時jensen不等式可以用來證明相對熵的正定性。
All right, 我們已經(jīng)證明了jensen不等式成立，可以放心的使用啦。
?相對熵的非負(fù)性性證明：
證明：$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ >=0
即證：-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
即證： ${\sum }_{i}P\left(x_i\right)\log Q\left(x_i\right)+{\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$ <=0
因為將P(x)看做是自變量，故$\log \frac{1}{P\left(x_i\right)}$可看做是凹函數(shù)。
故在凹函數(shù)下，根據(jù)jensen不等式：
$f\left({\sum }_{i=1}^M{\lambda }_i{x}_i\right)?{\sum }_{i=1}^M{\lambda }_{i}f\left(x_i\right)$
故：
${\sum }_{i}P\left(x_i\right)\log \frac{1}{P\left(x_i\right)}$<=$\log 1$=0
即可證：
-$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$ <=0
證得：
$H(P\Vert Q)={\sum }_{i}P\left(x_i\right)\log \frac{P\left(x_i\right)}{Q\left(x_i\right)}$>=0

參考資料：劉勇. 關(guān)于詹森不等式證明不等式問題[J]. 科教文匯(29期):136-136.

總結(jié)

以上是生活随笔為你收集整理的从jensen不等式到相对熵的非负性性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。