文章目錄

• • • 連續熵（無窮大）
    • 微分熵（相對熵）
    • 常見約束下信源的最大相對熵

信源輸出的消息是時間和取值都連續的隨機函數，連續信源可以用一個隨機過程{x(t)}表示，其輸出的消息是隨機過程{x(t)}中的一個樣本函數。我們可以用概率密度的形式來進行描述：

$[X\square P]:\{\begin{array}{ll}X:& [\mathrm{a},\mathrm{b}](\text{?或?}\mathrm{R})\\ P(X)& \mathrm{p}(\mathrm{x})\end{array}$
由概率密度函數 $p(x)$ 就可確定單維連續信源 X的概率分布:
$\mathrm{F}\left(x_1\right)=P\left\{X\le x_1\right\}={\int }_a^{x_1}p(x)dx$
且 ${\int }_a^{b}p(x)dx=1$

連續熵（無窮大）

因為連續信源是連續的，分析它的時候，我們對它的分割是有無窮多種的，所以無窮大是合理的。

微分熵（相對熵）

$h(X)=?{\int }_a^{b}p(x)\log p(x)dx$，相對熵不具有信息的內涵，它在單維連續信道中的平均交互信息量中有作用。單維連續信源的信息熵是無限大的正數，相對熵是其中確定值的一部分，可以計算。

我們暫時用它比較兩個連續信源的不確定性。

性質：不具有非負性

常見約束下信源的最大相對熵

峰值功率受限最大相對熵定理：對于峰值功率受限的單維連續信源，當輸出消息的概率密度是均勻分布時，相對熵達到最大值。

比如：輸出信號的瞬間電壓受限

均值受限信源的最大相對熵定理：對于輸出消息非負且均值受限的單維連續信源，當輸出消息的概率密度函數為單邊指數分布時，相對熵達到最大值。

平均功率受限信源的最大相對熵定理：若單維連續信源輸出信號的平均功率限定為P，則其輸出消息的概率密度函數為高斯分布時，相對熵達到最大值

總結

以上是生活随笔為你收集整理的信息论2——单维连续信源的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。