熵（續(xù)）

信息熵

信息熵和熱力學(xué)熵的假設(shè)相同，因此有類似結(jié)論不足為奇，畢竟數(shù)學(xué)上都是同一個(gè)微分方程。

信息熵：編碼方案完美時(shí)，最短平均編碼長(zhǎng)度的是多少。

交叉熵：編碼方案不一定完美時(shí)（由于對(duì)概率分布的估計(jì)不一定正確），平均編碼長(zhǎng)度的是多少。平均編碼長(zhǎng)度=最短平均編碼長(zhǎng)度+一個(gè)增量

$$H(p,q)=?\sum _{x}p(x)\log q(x)$$

相對(duì)熵：編碼方案不一定完美時(shí)，平均編碼長(zhǎng)度相對(duì)于最小值的增加值。（即上面那個(gè)增量）

$$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)=?\sum _{i}P(i)\log \frac{Q(i)}{P(i)}$$

參考：

https://www.zhihu.com/question/41252833

如何通俗的解釋交叉熵與相對(duì)熵?

復(fù)變函數(shù)

1.復(fù)球面表示。

2.條件嚴(yán)格性。

點(diǎn)域：連續(xù)<可導(dǎo)（可微）<可解析

區(qū)域：連續(xù)<可導(dǎo)（可微）=可解析

由于復(fù)平面的存在，極限$z\to z_0$中，趨向于點(diǎn)$z_0$的路徑有無(wú)窮多種，必須所有路徑的極限都存在且一致，才可以說(shuō)極限$z\to z_0$存在。

3.函數(shù)可微的充要條件：Cauchy-Riemann Equations

若$f(x+iy)=u(x,y)+iv(x,y)$可導(dǎo)，則：

1）$u(x,y)$和$v(x,y)$在點(diǎn)$(x,y)$可導(dǎo)。

2）

$$\frac{?u}{?x}=\frac{?v}{?y},\frac{?u}{?y}=?\frac{?v}{?x}$$

4.復(fù)數(shù)在場(chǎng)論描述中的應(yīng)用。

復(fù)數(shù)求導(dǎo)

信號(hào)處理領(lǐng)域，很多需要求導(dǎo)的函數(shù)往往是不解析的。比如一系列的二乘loss：MSE、LS、WLS等。這些函數(shù)都包含$\mid e(k){\mid }^2=z{z}^{?}$的成分。然而，這個(gè)函數(shù)是不可導(dǎo)的。

$$z{z}^{?}=x^2+y^2$$

所以

$$\frac{?u}{?x}=2x,\frac{?v}{?x}=0$$

上式顯然不滿足Cauchy-Riemann Equations，因此函數(shù)不可導(dǎo)。

上述結(jié)論我們也可以另一個(gè)角度觀察。

假設(shè)$f(z)$解析，則$f(z)$可展開(kāi)為z的Taylor級(jí)數(shù)。而這個(gè)展開(kāi)式不包含$z^{?}$。即一個(gè)解析的復(fù)變函數(shù)只和z有關(guān)，而和$z^{?}$無(wú)關(guān)。

因?yàn)閷?shí)函數(shù)必須同時(shí)依賴z和$z^{?}$，否則虛部無(wú)法被消掉。因此，實(shí)函數(shù)$f(z)$都是不解析的。

所以，Cauchy-Riemann Equations也可以寫(xiě)成$f(z^{?})=0$。

參考：

https://mp.weixin.qq.com/s/SUWUAMQjSuB5Gs06SPliTQ

復(fù)數(shù)求導(dǎo)在信號(hào)處理中的應(yīng)用

Hermite矩陣

復(fù)數(shù)矩陣通常不能直接轉(zhuǎn)置，而必須進(jìn)行共軛轉(zhuǎn)置。共軛轉(zhuǎn)置也叫做Hermite轉(zhuǎn)置，用$A^H$表示。

如果$A=A^H$，則A被稱為Hermite矩陣。

Charles Hermite，1822～1901，19世紀(jì)下半葉法國(guó)最著名的數(shù)學(xué)家，代數(shù)學(xué)領(lǐng)域的宗師級(jí)人物。Henri Poincaré的導(dǎo)師。他首先證明了e是超越數(shù)。以他的名字命名的數(shù)學(xué)術(shù)語(yǔ)竟達(dá)10項(xiàng)之多。
Hermite雖然不是如某些地?cái)偽膶W(xué)所言，一遇考試就跪。但是的確不太擅長(zhǎng)考試，大學(xué)（他考的大學(xué)類似國(guó)內(nèi)的清北的地位）入學(xué)成績(jī)排在第68位，完全沒(méi)有學(xué)神的風(fēng)范。相比之下，Poincaré的入學(xué)成績(jī)可是排第一位的。盡管就成就而言，Hermite絕不遜于Poincaré。

平穩(wěn)離散時(shí)間隨機(jī)過(guò)程

Toeplitz矩陣

Toeplitz矩陣（diagonal-constant matrix），指矩陣中每條自左上至右下的斜線上的元素相同。

Otto Toeplitz，1881～1940，德國(guó)猶太裔數(shù)學(xué)家。University of Breslau博士（1905），先后執(zhí)教于G?ttingen University（在David Hilbert手下供職）、University of Kiel和Bonn University。1939年，為了躲避元首的迫害，逃亡耶路撒冷，次年去世。

廣義平穩(wěn)離散時(shí)間隨機(jī)過(guò)程的相關(guān)矩陣是Hermite矩陣，也是Toeplitz矩陣。反之，如果相關(guān)矩陣是Toeplitz矩陣，則該離散時(shí)間隨機(jī)過(guò)程，一定是廣義平穩(wěn)的。

離散時(shí)間隨機(jī)過(guò)程的相關(guān)矩陣是非負(fù)定的，并且?guī)缀蹩偸钦ǖ摹?#xff08;等于零，只有在無(wú)噪聲且觀測(cè)向量線性相關(guān)的情況下，才會(huì)出現(xiàn)。）

白噪聲

$$E[v(n)v^{?}(n?k)]=\{\begin{array}{ll}{\sigma }_v^2,& k=0\\ 0,& k?=0\end{array}$$

線性差分方程

時(shí)間隨機(jī)過(guò)程本身是由時(shí)間序列組成的，因此也可以使用《機(jī)器學(xué)習(xí)（二十四）》中提到的ARIMA模型。該模型的關(guān)鍵是求解線性差分方程。這通常要使用“信號(hào)與系統(tǒng)”課程中的z變換（離散域的拉普拉斯變換）求解。考慮到“信號(hào)與系統(tǒng)”是一個(gè)很大的課程。這里僅對(duì)本人關(guān)心的要點(diǎn)，做一個(gè)簡(jiǎn)要記錄。

絕對(duì)可積->收斂域

z變換：$f(z)\to F(z)$

z逆變換：$F(z)\to f(z)$

系統(tǒng)函數(shù)：$H(z)=\frac{R(z)}{E(z)}$。其中，E是激勵(lì)信號(hào)，R是系統(tǒng)響應(yīng)。

E的收斂域：$\mid z\mid >1$

差分算子->特征方程->特征根

H的平穩(wěn)條件：H的特征根滿足$\mid z\mid \le 1$

特征根是正實(shí)數(shù)，且$\mid z\mid <1$：自相關(guān)函數(shù)為阻尼曲線，僅有幅變。

特征根是負(fù)實(shí)數(shù)或者復(fù)數(shù)，且$\mid z\mid <1$：自相關(guān)函數(shù)為正弦阻尼曲線，不僅有幅變，還有相變。

選擇ARIMA的階數(shù)

如前所述，ARIMA(p,d,q)除了一些參數(shù)之外，還包括p，d，p這三個(gè)階數(shù)的超參數(shù)。

AIC信息準(zhǔn)則即Akaike information criterion，是衡量統(tǒng)計(jì)模型擬合優(yōu)良性(Goodness of fit)的一種標(biāo)準(zhǔn)，由于它為日本統(tǒng)計(jì)學(xué)家赤池弘次創(chuàng)立和發(fā)展的，因此又稱赤池信息量準(zhǔn)則。AIC方法主要使用了KL散度。

MDL(minimum description length,最小描述長(zhǎng)度) 原理是Rissane在研究通用編碼時(shí)提出的。其基本原理是選擇總描述長(zhǎng)度最小的模型。

參考：

https://mp.weixin.qq.com/s/66lY17sOO83Q-xhvQi72dw

周期性時(shí)間序列的預(yù)測(cè)

功率譜

隨機(jī)過(guò)程（設(shè)時(shí)間序列為$u(n)$）二階統(tǒng)計(jì)：

時(shí)域——自相關(guān)函數(shù)：

$$r_N(n?k)=E[u_N(n)u_N^{?}(k)]\text{\hspace{1em}(1)}$$

其中，$u_N^{?}(k)$是$u_N(k)$的復(fù)共軛。

頻域：

$$U_N(\omega )=\sum _{n=?N}^N{u}_N(n)e^{?j\omega n}\text{\hspace{1em}(2)}$$

$$S(\omega )=\underset{N\to \infty }{\lim }\frac{1}{N}E[\mid U_N(\omega ){\mid }^2]=\sum _{l=?\infty }^{+\infty }r(l)e^{?j\omega l}\text{\hspace{1em}(3)}$$

其中，$S(\omega )$就是功率譜密度（power spectral density, PSD），也稱為功率譜（power spectrum）。

自相關(guān)函數(shù)和功率譜密度組成了傅立葉變換對(duì)，這種關(guān)系又被稱為EWK（Einstein-Wiener-Khintchine）關(guān)系。

Einstein最早提出idea，Wiener證明了一個(gè)特例，Khintchine做了擴(kuò)展證明。

Aleksandr Yakovlevich Khinchin，1894～1959，蘇聯(lián)數(shù)學(xué)家。莫斯科州立大學(xué)畢業(yè)，并留校任教，直到去世。蘇聯(lián)概率學(xué)派的重要人物。蘇聯(lián)科學(xué)院院士。概率論中，著名的Khintchine inequality就是他的成果。

在頻域上，我們有Nyquist頻率，相應(yīng)的在時(shí)域上，我們也有Nyquist間隔：在這個(gè)間隔之外，$S(\omega )$是周期性的。

離散時(shí)間隨機(jī)過(guò)程的功率譜密度是非負(fù)實(shí)函數(shù)。

$$S_o(\omega )=\mid H(e^{j\omega })\mid S(\omega )\text{\hspace{1em}(4)}$$

其中，H為系統(tǒng)函數(shù)，$S_o$輸出信號(hào)的功率譜密度。

功率譜密度的Cramér表示：

$$u(n)=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }{e}^{j\omega n}\mathrm{d}Z(\omega )\text{\hspace{1em}(5)}$$

其中，$\mathrm{d}Z(\omega )$被稱為增量過(guò)程（increment process）。

Harald Cramér，1893～1985，瑞典數(shù)學(xué)家、統(tǒng)計(jì)學(xué)家。Stockholm University博士（1917）、教授、校長(zhǎng)、瑞典高等教育系統(tǒng)大臣。被譽(yù)為“統(tǒng)計(jì)理論的巨人”。

由公式2和5，可得：

$$U_N(\omega )=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }\sum _{n=?N}^N{e}^{(?j(\omega ?v)n)}\mathrm{d}Z(v)\text{\hspace{1em}(6)}$$

我們定義：

$$K_N(\omega )=\sum _{n=?N}^N{e}^{j\omega n}=\frac{\sin ((2N+1)\omega /2)}{\sin (\omega /2)}\text{\hspace{1em}(7)}$$

則公式6可改寫(xiě)為：

$$U_N(\omega )=\frac{1}{2\pi }{\int }_{?\pi }^{\pi }{K}_N(\omega ?v)\mathrm{d}Z(v)\text{\hspace{1em}(8)}$$

這里的K被稱作Dirichlet Kernel。參見(jiàn)《數(shù)學(xué)狂想曲（一）》的相關(guān)章節(jié)。

一般來(lái)說(shuō)，在公式8中，$U_N(\omega )$是已知的，而$\mathrm{d}Z(\omega )$是未知的。從數(shù)學(xué)上來(lái)說(shuō)，這個(gè)積分方程可看做第一類Fredholm積分方程的一個(gè)例子。

Erik Ivar Fredholm，1866～1927，瑞典數(shù)學(xué)家。Uppsala University博士（1898）+Stockholm University教授。不知道是不是瑞典的保險(xiǎn)業(yè)比較發(fā)達(dá)，他和Cramér居然都當(dāng)過(guò)兼職的精算師。。。瑞典皇家科學(xué)院院士。

Uppsala University是瑞典，也是北歐最古老的大學(xué)，始建于1477年。

功率譜密度的估計(jì)方法主要包括參數(shù)法和非參數(shù)法兩大類。

參數(shù)法包括：

1.模型辨識(shí)法。基本就是上面提到的ARIMA或者其變種。

2.最小方差無(wú)失真響應(yīng)法（MVDR）。

3.特征分解法。將相關(guān)矩陣R分解為兩個(gè)子空間：信號(hào)子空間和噪聲子空間。

非參數(shù)法包括：

1.周期圖法。

2.多窗口法。

一般來(lái)說(shuō)，隨機(jī)過(guò)程的功率譜包含兩個(gè)分量：確定性分量和連續(xù)分量。前者是增量過(guò)程$\mathrm{d}Z(\omega )$的一階矩，后者是$\mathrm{d}Z(\omega )$的二階中心矩。

參數(shù)法一般在知道相關(guān)物理規(guī)律時(shí)使用，它具有較高的精確度。而非參數(shù)法由于只依賴增量過(guò)程的一階矩和二階中心矩，因此適用范圍更廣泛，即使不知道系統(tǒng)的物理規(guī)律也可以使用。（有些類似萬(wàn)能擬合的GMM）

參考：

https://www.zhihu.com/question/29520851

功率譜密度如何理解？

高階統(tǒng)計(jì)

上面討論的基本都是一階和二階統(tǒng)計(jì)量，實(shí)際上我們還可以使用更高階的統(tǒng)計(jì)量。使用高階統(tǒng)計(jì)量的學(xué)科，一般被稱為高階統(tǒng)計(jì)學(xué)（higher-order statistics）。

Moment

Moment（矩）的定義為：

$${\mu }_n={\int }_{?\infty }^{\infty }(x?c{)}^{n}f(x)\mathrm{d}x$$

其中，當(dāng)c=0時(shí)，被稱作Raw Moment。當(dāng)c為均值時(shí)，被稱作Central Moment。如果用${\mu }_n/{\sigma }^n$替換${\mu }_n$，就是所謂的Normalised Moment了。

1階Raw Moment，常稱為Mean。2階Central Moment，常稱為Variance。3階Normalised Moment，常稱為Skewness。4階Normalised Moment，常稱為kurtosis。

Cumulants

Cumulants（累積量）的思想最早是Thorvald Thiele提出的，后來(lái)被Ronald Fisher和John Wishart發(fā)揚(yáng)光大。

Thorvald Nicolai Thiele，1838～1910，丹麥天文學(xué)家。哥本哈根大學(xué)博士。哥本哈根天文臺(tái)臺(tái)長(zhǎng)（1978～1907）。曾研究過(guò)三體問(wèn)題。被Ronald Fisher譽(yù)為“最偉大的統(tǒng)計(jì)學(xué)家”。

John Wishart，1898～1956，蘇格蘭數(shù)學(xué)家和農(nóng)業(yè)統(tǒng)計(jì)學(xué)家。Edinburgh University本科+Cambridge University碩士+University College London博士。導(dǎo)師是Karl Pearson，和Ronald Fisher也有過(guò)合作。Royal Society of Edinburgh會(huì)員。Cambridge University統(tǒng)計(jì)實(shí)驗(yàn)室首任主任。

蘇格蘭人的自我意識(shí)真是強(qiáng)，足球有自己的協(xié)會(huì)，就連皇家學(xué)會(huì)也有自己的。

總結(jié)

以上是生活随笔為你收集整理的数学狂想曲（十）——复变函数, 平稳离散时间随机过程, 功率谱的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。