KL距離，是Kullback-Leibler差異（Kullback-Leibler Divergence）的簡稱，也叫做相對熵（Relative Entropy）。它衡量的是相同事件空間里的兩個概率分布的差異情況。并不是一種距離度量方式，其物理意義是：在相同事件空間里，概率分布P(x)對應的每個事件，若用概率分布 Q(x)編碼時，平均每個基本事件（符號）編碼長度增加了多少比特。我們用D（P||Q）表示KL距離，計算公式如下：
$$D(P||Q)=\sum _{x\in X}P(x)log\frac{P(x)}{Q(x)}\text{\hspace{1em}(1)}$$
由公式（1）可以知道：

當P(x)=Q(x)時，D(P||Q)=0,即其相對熵為零。

當P(x)和Q(x)相似度越高時，KL距離越小

D(P||Q)非負（非負性）

不滿足對稱性，即D(P||Q)≠D(Q||P)

不滿足三角不等式

下面我們舉例來解釋一下：
以下列出了三個概率分布，已知真實事件的概率分布為f,如下表達式（2）它只有兩種狀態（0或1），剩下的兩個分布是對f的擬合，如下表達式（3）和（4），求他們與真實分布f的差異。
$$f(0)=\frac{1}{2},f(1)=\frac{1}{2}\text{\hspace{1em}(2)}$$
$$f_1^{?}(0)=\frac{1}{3},f_1^{?}(1)=\frac{2}{3}\text{\hspace{1em}(3)}$$
$$f_2^{?}(0)=\frac{1}{4},f_2^{?}(1)=\frac{3}{4}\text{\hspace{1em}(4)}$$
通過計算我們可以得到：
$$\begin{gathered} D(f||f_1^{?})=\sum _{x\in X}f(x)log\frac{f(x)}{f_1^{?}(x)}=f(0)log\frac{f(0)}{f_1^{?}(0)}+f(1)log\frac{f(1)}{f_1^{?}(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{3}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{2}{3}}=\frac{1}{2}log\frac{9}{8}\text{\hspace{1em}(5)} \end{gathered}$$
$$\begin{gathered} D(f||f_2^{?})=\sum _{x\in X}f(x)log\frac{f(x)}{f_2^{?}(x)}=f(0)log\frac{f(0)}{f_2^{?}(0)}+f(1)log\frac{f(1)}{f_2^{?}(1)} \\ =\frac{1}{2}log\frac{\frac{1}{2}}{\frac{1}{4}}+\frac{1}{2}log\frac{\frac{1}{2}}{\frac{3}{4}}=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(6)} \end{gathered}$$
由（5）和（6）的計算我們可以知道，較真實數據分布相比，我們擬合的分布平均編碼長度增加了，同時第（3）種分布較第（4）種分布的KL距離更小，說明第（3）種分布更接近真實分布。

為了證明其不滿足對稱性，我們做如下計算：
$$\begin{gathered} D(f_2^{?}||f)=\sum _{x\in X}{f}_2^{?}(x)log\frac{f_2^{?}(x)}{f(x)}=f_2^{?}(0)log\frac{f_2^{?}(0)}{f(0)}+f_2^{?}(1)log\frac{f_2^{?}(1)}{f(1)} \\ =\frac{1}{4}log\frac{\frac{1}{4}}{\frac{1}{2}}+\frac{3}{4}log\frac{\frac{3}{4}}{\frac{1}{2}}=\frac{1}{4}log\frac{1}{2}+\frac{3}{4}log\frac{3}{2}=\frac{1}{4}log\frac{27}{16}?=\frac{1}{2}log\frac{4}{3}\text{\hspace{1em}(7)} \end{gathered}$$

由計算（7）可以知道，KL距離不滿足對稱性。

KL距離的幾個用途：

衡量兩個概率分布的差異。

衡量利用概率分布Q 擬合概率分布P 時的能量損耗，也就是說擬合以后丟失了多少的信息。

衡量兩個概率分布的相似度，在運動捕捉里面可以衡量未添加標簽的運動與已添加標簽的運動，進而進行運動的分類。

參考博客：
https://blog.csdn.net/scw1023/article/details/59109922

總結

以上是生活随笔為你收集整理的KL距离（Kullback-Leibler Divergence）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。