Jensen不等式（Jensen’s inequality）是以丹麥數學家Johan Jensen命名的，它在概率論、機器學習、測度論、統計物理等領域都有相關應用。

在機器學習領域，我目前接觸到的是用Jensen不等式用來證明KL散度大于等于0（以后寫一篇文章總結一下）。

Jensen不等式是和凸函數的定義是息息相關的。

首先介紹什么是凸函數(convec function)。

凸函數

凸函數是一個定義在某個向量空間的凸子集 C（區間）上的實值函數 f，如果在其定義域 C 上的任意兩點 $x_1,x_2$ ， $0\le t\le 1$ ，有

$$tf(x_1)+(1?t)f(x_2)\ge f(t{x}_1+(1?t)x_2)\text{\hspace{1em}(1)}$$

也就是說凸函數任意兩點的割線位于函數圖形上方， 這也是Jensen不等式的兩點形式。

Jensen不等式

若對于任意點集$\{x_i\}$，若 ${\lambda }_i\ge 0$且 ${\sum }_i{\lambda }_i=1$ ，使用數學歸納法，可以證明凸函數 $f(x)$滿足：

$$f(\sum _{i=1}^M{\lambda }_i{x}_i)\le \sum _{i=1}^M{\lambda }_{i}f(x_i)\text{\hspace{1em}(2)}$$

公式(2)被稱為 Jensen 不等式，它是式(1)的泛化形式。

證明如下：

(1) 當$i=1，2$時，由凸函數的定義成立

(2) 假設當$i=M$時，公式(2)成立

(3) 現在證明則$i=M+1$時，Jensen不等式也成立：

$$\begin{array}{rl}f(\sum _{i=1}^{M+1}{\lambda }_i{x}_i)& =f({\lambda }_{M+1}{x}_{M+1}+\sum _{i=1}^M{\lambda }_i{x}_i)\\ & =f({\lambda }_{M+1}{x}_{M+1}+（1?{\lambda }_{M+1})\sum _{i=1}^M{\eta }_i{x}_i)\end{array}\text{\hspace{1em}(3)}$$

其中

$${\eta }_i=\frac{{\lambda }_i}{1?{\lambda }_{M+1}}$$

由公式(1)的結論，公式(3)滿足:

$$f(\sum _{i=1}^{M+1}{\lambda }_i{x}_i)\le {\lambda }_{M+1}f(x_{M+1})+(1?{\lambda }_{M+1})f(\sum _{i=1}^{M+1}{\eta }_i{x}_i))$$

注意到 ${\lambda }_i$滿足:

$$\sum _{i=1}^{M+1}{\lambda }_i=1$$

因此：

$$\sum _{i=1}^M{\lambda }_i=1?{\lambda }_{M+1}$$

因此${\eta }_i$ 也滿足：

$$\sum _i^M{\eta }_i=\frac{{\sum }_1^M{\lambda }_i}{1?{\lambda }_{M+1}}\text{\hspace{1em}(5)}$$

由公式(2)和(5)得到：

$$\sum _i^{M}f({\eta }_i{x}_i)\le \sum _{i=1}^M{\eta }_{i}f(x_i)\text{\hspace{1em}(6)}$$

由(4)和(6)：

$$f(\sum _i^{M+1}{\lambda }_i{x}_i)\le {\lambda }_{M+1}f(x_{M+1})+(1?{\lambda }_{M+1})\sum _{i=1}^M{\eta }_{i}f(x_i)=\sum _{i=1}^{M+1}{\lambda }_{i}f(x_i)$$

因此$i=M+1$時，Jensen不等式也成立綜上，Jensen不等式成立。

在概率論中，如果把${\lambda }_i$看成取值為 $x_i$ 的離散變量 $x$ 的概率分布，那么公式(2)就可以寫成

$$f(E[x])\le E[f(x)]$$其中,$E[?]$表示期望。
對于連續變量，Jensen不等式給出了積分的凸函數值和凸函數的積分值間的關系：$$f(\int xp(x)dx)\le \int f(x)p(x)dx$$
參考文獻：

• [1] PRML
• [2] wikipedia Jensen’s inequality

---

• 以上內容來自：清雅的數學筆記_Jensen不等式初步理解及證明【知乎】

總結

以上是生活随笔為你收集整理的Jensen不等式初步理解及证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。