Jensen's Inequality

Jensen’s Inequality中文譯名琴森不等式，要想了解琴森不等式，首先需要知道凸函數（convex function）與凹函數（concave function）的概念。 由于凸函數和凹函數是相反的概念，因此這里只介紹凸函數即可。

1 凸函數的概念

如下圖中的紅色曲線就是一個凸函數（可能直觀上來看這個曲線是凹的，別弄反了）。

我們在高中就已經學習過相關知識，這里僅溫習一下，用數學的語言描述凸函數就是：

如果個函數具有如下性質：每條弦都位于函數上或函數上方，我們就說這個函數是凸函數。位于x=a到x=b之間的任何一個x值都可以寫成$\lambda a+(1?\lambda )b$的形式，其中$0\le \lambda \le 1$，弦上的對應點可以寫成：$\lambda f(a)+(1?\lambda )f(b)$，函數上的對應值為$f(\lambda a+(1?\lambda )b)$，這樣凸函數的性質就可以表示為：
$$f(\lambda a+(1?\lambda )b)\le \lambda f(a)+(1?\lambda )f(b)$$
這等價于要求函數的二階導數處處為正。

2 琴森不等式

假設$f(x)$是區間$(a,b)$上的凸函數，則對任意的$x_1,x_2,...,x_n\in (a,b)$有不等式：
$$f(\frac{x_1+x_2+...+x_n}{n})\le \frac{f(x_1)+f(x_2)+...+f(x_n)}{n}$$
成立，當且僅當$x_1=x_2=...=x_n$時等號成立。

另外，假設$f(x)$是區間$(a,b)$上的凸函數，則對任意的$x_1,x_2,...,x_n\in (a,b)$，有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0，則有：
$$f(a_1{x}_1+a_2{x}_2+...+a_n{x}_n)\le a_{1}f(x_1)+a_{2}f(x_2)+...+a_{n}f(x_n)$$

巧妙的是，由于有${\sum }_{i=1}^n{a}_i=1$，且$a_i$均大于0的約束，這樣可以將$a_i$看作是隨機變量$x_i$的概率，上式左側就剛好是隨機變量$X$的期望$E(X)$，因此上式等價于：

$$f(E(X))\le E(f(X))$$

3 證明琴森不等式

那么琴森不等式的結論如何證明呢？下面使用數學歸納法證明。

證明：
已知當n=2的時候，琴森不等式成立，即：
$$f(\lambda a+(1?\lambda )b)\le \lambda f(a)+(1?\lambda )f(b)$$
假設當n=N時該結論成立，有：
$$f(\sum _{i=1}^n{a}_i{x}_i)\le \sum _{i=1}^n{a}_{i}f(x_i)$$
只需證明當n=N+1時該結論仍然成立即可，當n=N+1時，有：

因此，當n=N+1時，不等式仍然成立，即證。

----- 本文完 -----

總結

以上是生活随笔為你收集整理的琴森不等式及其证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。