KL距離

• 全稱：
  Kullback-Leibler差異（Kullback-Leibler divergence）
• 又稱：
  相對(duì)熵（relative entropy）
• 數(shù)學(xué)本質(zhì)：
  衡量相同事件空間里兩個(gè)概率分布相對(duì)差距的測(cè)度
• 定義：
  $$D(p||q)=\sum _{x\in X}p(x)log\frac{p(x)}{q(x)}$$
  其中，$p(x)$與$q(x)$是兩個(gè)概率分布。

定義中約定：
$0log(0/q)=0$、$plog(p/0)=\infty$

等價(jià)形式：
$$D(p||q)=E_p[log\frac{p(X)}{q(X)}]$$

• 說(shuō)明：

  • 兩個(gè)概率分布的差距越大，KL距離越大；
  • 當(dāng)兩個(gè)概率分布相同時(shí)，KL距離為0

• 推論：

互信息衡量一個(gè)聯(lián)合分布與獨(dú)立性有多大的差距：
$$\begin{array}{rl}I(X;Y)& =X(X)?H(X|Y)\\ & =?\sum _{x\in X}p(x)logp(x)+\sum _{x\in X}\sum _{y\in Y}p(x,y)logp(x|y)\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x|y)}{p(x)}\\ & =\sum _{x\in X}\sum _{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}\\ & =D[p(x,y)||p(x)p(y)]\end{array}$$

條件相對(duì)熵：
$$D[p(y|x)||q(y|x)]=\sum _{x}p(x)\sum _{y}p(y|x)log\frac{p(y|x)}{q(y|x)}$$

相對(duì)熵的鏈?zhǔn)椒▌t：
$$D[p(x,y)||q(x,y)]=D[p(x)||q(x)]+D[p(y|x)||q(y|x)]$$

總結(jié)

以上是生活随笔為你收集整理的KL距离的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。