• 參考：
• 《數值最優化方法》—— 高立
• Jensen不等式初步理解及證明
• Jensen不等式講解與證明

---

文章目錄

• 1. 凸集與凸函數
• • 1.1 凸集
  • 1.2 凸函數
• 2. Jensen不等式
• • 2.1 Jensen不等式
  • 2.2 證明
  • 2.3 擴展

1. 凸集與凸函數

1.1 凸集

定義：設集合 $C?{\mathbb{R}}^n$，若對 $?x,y\in C$，有
$$\theta x+(1?\theta )y\in C,\theta \in [0,1]$$
則稱 $C$ 為 凸集

幾何意義：若 $x,y$ 屬于凸集 $C$ 則 $x$ 與 $y$ 連線上的所有點都屬于凸集 $C$

性質：凸集關于加法、數乘和交運算都是封閉的。對于凸集 $C_1,C_2\in {\mathbb{R}}^n$，$\beta \in \mathbb{R}$，則

$C_1+C_2=\{x_1+x_2|x_1\in C_1,x_2\in C_2\}$ 是凸集

$\beta C_1=\{\beta x|x\in C_1\}$ 是凸集

$C_1\cap C_2$ 是凸集

1.2 凸函數

定義：設集合 $C?{\mathbb{R}}^n$ 為非空凸集，函數 $f:C\to \mathbb{R}$。若對 $?x,y\in C$，有
$$f(\theta x+(1?\theta )y)\le \theta f(x)+(1?\theta )f(y),\theta \in [0,1]$$
則稱 $f$ 為 $C$ 上 凸函數。若不等式對 $x=y$ 嚴格成立，則稱 $f$ 為 $C$ 上的 嚴格凸函數

幾何意義：凸函數曲線上任意兩點連線都在函數曲線之上

判定方法

一階判定條件

二階判定條件

2. Jensen不等式

2.1 Jensen不等式

• 根據凸函數性質，凸集 $C$ 上的凸函數 $f$ 上的兩點 $x_1,x_2$ 滿足
  $$\theta f(x_1)+(1?\theta )f(x_2)\ge f(\theta x_1+(1?\theta )x_2),\theta \in [0,1]$$
• 把上式推廣到 $n$ 個點的情況，即得 Jensen 不等式：對于凸函數 $f$，其所在凸集 $C$ 中的任意點集 $\{x_i\}?C$，若 ${\theta }_i\ge 0$ 且 ${\sum }_i{\theta }_i=1$，則有
  $$\sum _{i=1}^M{\theta }_{i}f(x_i)\ge f(\sum _{i=1}^M{\theta }_i{x}_i)$$

2.2 證明

• 可以使用數學歸納法證明，參見：Jensen不等式講解與證明

2.3 擴展

在概率論中，如果把 ${\theta }_i$ 看作離散型隨機變量 $X$ 取值 $x_i$ 的概率，則根據Jensen不等式
$$E[f(X)]\ge f(E[X])$$

把Jensen不等式拓展到連續情況，有
$$\int f(x)p(x)dx\ge f(\int xp(x)dx)$$
這里 $f$ 是凸函數，$p$ 是隨機變量的概率密度函數

當隨機變量X是常數時，Jensen不等式中等號成立。從幾何角度容易理解（此時凸函數 $f(x)=c$是一條直線）

總結

以上是生活随笔為你收集整理的Jensen 不等式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。