熵的公理化定義的提出

$\begin{array}{l}若對稱函數序列H_m(p_1,p_2,...,p_m)滿足下列性質\\ (1)標準化:H_2\frac{1}{2}\frac{1}{2}=1\\ (2)連續性:H_2(p,1?p)為p的連續函數\\ (3)組合法則：H_m(p_1,p_2,...,p_m)=H_{m?1}(p_1+p_2,...,p_m)+(p_1+p_2)H_2(\frac{p_1}{p_1+p_2},\frac{p_2}{p_1+p_2})\end{array}$

熵的公理化定義的推導

由上述熵的性質可做如下推導：
$\begin{array}{l}X～U,g(MN)=f\underset{MN}{(\frac{1}{MN},\frac{1}{MN}...,\frac{1}{MN})}=f(\frac{1}{M},\frac{1}{M},...,\frac{1}{M})+\sum _{i=1}^M\frac{1}{M}f(\frac{1}{N},\frac{1}{N},...,\frac{1}{N})\\ =g(M)+g(N)\end{array}$

$\begin{array}{l}g(s^m)\le g(t^n)<g(s^{m+1})?mg(s)\le ng(t)<(m+1)g(s)\\ \frac{m}{n}\le \frac{g(t)}{g(s)}<\frac{m+1}{n}?|\frac{m}{n}?\frac{g(t)}{g(s)}|\le \frac{1}{n}\\ n\log s\le n\log t<(m+1)\log s\\ |\frac{m}{n}?\frac{n\log t}{n\log s}|\le \frac{1}{n}?|\frac{g(t)}{g(s)}?\frac{n\log t}{n\log s}|\le \frac{2}{n}\\ n\to \infty ,\frac{g(t)}{g(s)}\to \frac{\log t}{\log s}?g(x)=\alpha \log (x)\\ p(n)=\frac{m_n}{M}\end{array}$

進一步推出

$\therefore g(M)=f\underset{m_n}{(\frac{1}{M},\frac{1}{M}...,\frac{1}{M})}=f(p_1,p_2,...,p_N)+\sum _{i=1}^M\frac{m_n}{M}g(m_n)$
$\begin{array}{l}f(p_1,p_2,...,p_N)=g(M)?\sum _{i=1}^M{p}_{i}g(m_i)\\ =\alpha \log (M)?\sum _{i=1}^M{p}_i\alpha \log (m_i)\\ =?\alpha \sum _{i=1}^M{p}_i[\log (m_i)?\log (M)]\\ =?\alpha \sum p_i\log p_i\\ 由H(\frac{1}{2},\frac{1}{2})=1，可取常數\alpha =1\\ 因此熵的形式可以寫成H_m(p_1,p_2,...,p_m)=?\sum _{i=1}^m{p}_i\log p_i,m=2,3,...\end{array}$
**

有關信息量的描述形式的推導

**：
我們知道用概率描述信息量的時候，滿足以下條件：
（1） 事件發生的概率越大，信息量越小；
（2） 事件發生的概率越小，信息量越大；
（3） 兩個事件同時發生的信息量等于兩個事件的信息量之和。
用數學語言，描述為
設f(x)為事件A發生時所攜帶的信息量，x為事件A發生的概率，則
$\begin{array}{l}\underset{x\to \infty }{\lim }f(x)=+\infty ,f(1)=0,f(x_1{x}_2)=f\left(x_1\right)+f\left(x_2\right),x_1,x_2\in (0,1]\\ f(xy)=f(x)+f(y)\end{array}$

我們對上述方程進行求解

$x=y=1,f(1)=f(1)+f(1)?f(1)=0$

由牛頓萊布尼茲公式可得

$\begin{array}{l}f(1)?f(x)={\int }_x^1{f}^{\prime }(t)dt={\int }_x^1\frac{f(t+dt)?f(t)}{dt}dt={\int }_x^1\frac{f(t\frac{t+dt}{t})?f(t)}{dt}dt\\ ={\int }_x^1\frac{f(t)+f(1+\frac{dt}{t})?f(t)}{dt}dt\\ ={\int }_x^1\frac{f(1+\frac{dt}{t})?f(1)}{dt}dt\\ ={\int }_x^1\frac{1}{t}\frac{f(1+\frac{dt}{t})?f(1)}{\frac{dt}{t}}dt\\ \Delta t\to 0,f(1)?f(x)={\int }_x^1\frac{1}{t}{f}^{\prime }(1)dt?0?f(x)=f^{\prime }(1){\int }_x^1\frac{1}{t}{f}^{\prime }(1)dt\\ ?f(x)=?f^{\prime }(1)\ln x\\ ?f(x)=?\frac{f^{\prime }(1)}{{\log }_{a}e}{\log }_{a}x\end{array}$
其實這個縮放系數可以理解為信息量的單位，不影響信息量的本質計算。因此，我們把信息量的函數表達式寫成取對數求和的形式。

總結

以上是生活随笔為你收集整理的熵的公理化定义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。