复随机变量及高斯熵的概念
文章目錄
- 復隨機變量
- 復隨機信號
- 復隨機變量的二階統計特性
- 圓系數和高斯熵
- 圓系數
- 高斯熵
復隨機變量
復隨機信號
復隨機信號x\bf{x}x的概率分布函數pdf為:
px(x)=px(xr+jxi)p_x({\bf{x}}) = p_x(x_r+jx_i) px?(x)=px?(xr?+jxi?)
對函數求其期望值有g:N→CNg:N{\rightarrow}{C^N}g:N→CN,其中復隨機信號bfxbf{x}bfx的取值在定義域NNN中。
E(g(x))=E(Re[g(x)])+jE(Im[g(x)])E(g({\bf{x}})) = E(Re[g({\bf{x}})]) + jE(Im[g({\bf{x}})]) E(g(x))=E(Re[g(x)])+jE(Im[g(x)])
一般假設其均值為零。
復隨機變量的二階統計特性
考慮復隨機變量x=xr+jxi{\bf{x}}=x_r+jx_ix=xr?+jxi?的二階統計特性。簡化表示使用兩個實數表示xR=[xrT,xiT]Tx_R=[x_r^T,x_i^T]^TxR?=[xrT?,xiT?]T。故其信號的協方差矩陣可以表示為:
CxRxR=E{xRxRT}=[CxrxrCxrxiCxrxiTCxixi]C_{x_{R}x_{R}}=E\left \{x_Rx_R^T \right \}=\begin{bmatrix} C_{x_{r}x_{r}} &C_{x_{r}x_{i}} \\ C_{x_{r}x_{i}}^T & C_{x_{i}x_{i}} \end{bmatrix} CxR?xR??=E{xR?xRT?}=[Cxr?xr??Cxr?xi?T??Cxr?xi??Cxi?xi???]
對于其增強協方差矩陣
Caug=E{xxH}=UNCxRxRUNH=[CxxC~xxC~xx?Cxx?]=CaugHC_{aug}=E\left\{ \bm{x} \bm{x}^H\right\}=\bf{U}_NC_{x_{R}x_{R}}\bf{U}_N^H=\begin{bmatrix} C_{xx}&\tilde{C}_{xx} \\ \tilde{C}_{xx}^* & {C}_{xx}^* \end{bmatrix}=C_{aug}^H Caug?=E{xxH}=UN?CxR?xR??UNH?=[Cxx?C~xx???C~xx?Cxx???]=CaugH?
其中Hermit矩陣有
Cxx=E{xxH}=Cxrxr+Cxixi+j(CxrxiT?Cxixi)=CxxHC_{xx}=E\left\{ \bm{x} \bm{x}^H\right\}=C_{x_rx_r}+C_{x_ix_i}+j(C_{x_rx_i}^T-C_{x_ix_i})=C_{xx}^H Cxx?=E{xxH}=Cxr?xr??+Cxi?xi??+j(Cxr?xi?T??Cxi?xi??)=CxxH?
C~xx=E{xxT}=Cxrxr?Cxrxi+j(CxixiT?Cxixi)=C~xxT\tilde{C}_{xx}=E\left\{ \bm{x} \bm{x}^T\right\}=C_{x_rx_r}-C_{x_rx_i}+j(C_{x_ix_i}^T-C_{x_ix_i})=\tilde{C}_{xx}^T C~xx?=E{xxT}=Cxr?xr???Cxr?xi??+j(Cxi?xi?T??Cxi?xi??)=C~xxT?
稱C~xx\tilde{C}_{xx}C~xx?為偽協方差矩陣,當其為零時,其復信號稱為不失真信號,反之為失真信號。
可以得到復信號xxx為不失真信號的充分必要條件為復信號的實部xrx_rxr?和虛部xix_ixi?的協方差矩陣和偽協方差矩陣均滿足Cxrxr=CxixiC_{x_rx_r}=C_{x_ix_i}Cxr?xr??=Cxi?xi??和Cxrxi=?CxrxiTC_{x_rx_i}=-C_{x_rx_i}^TCxr?xi??=?Cxr?xi?T?
則當其復信號為不失真信號時,其hermit協方差矩陣為
Cxx=2Cxrxr?2jCxrxi=2Cxixi+2jCxrxiTC_{xx}=2C_{x_rx_r}-2jC_{x_rx_i}=2C_{x_ix_i}+2jC_{x_rx_i}^T Cxx?=2Cxr?xr???2jCxr?xi??=2Cxi?xi??+2jCxr?xi?T?
同時其如果是一個標量信號時,其信號的方差是虛部方差和實部方差的兩倍:
σx2=2σxr2=2σxi2\sigma_x^2=2\sigma_{x_r}^2=2\sigma_{x_i}^2 σx2?=2σxr?2?=2σxi?2?
當一個復隨機變量的概率分布的旋轉不變的,則稱其為圓的。
可以得到只有當復高斯隨機信號xxx為非失真函數且均值為0時其才為圓信號。
圓系數和高斯熵
圓系數
描述圓信號的圓的程度,圓度系數。
近似的求解復信號的非圓度系數和圓度系數:
ρ=E{x2}E{∣x2∣}\rho = \frac{E\left\{x^2\right\}}{E\left\{\left | x^2\right |\right\}} ρ=E{∣x2∣}E{x2}?
滿足非圓系數0<ρ<10<\rho<10<ρ<1。
當其為圓信號時,E{x2}=0E\left\{x^2\right\}=0E{x2}=0。當非圓程度越高,其E{x2}E\left\{x^2\right\}E{x2}的值就越接近于E{∣x2∣}E\left\{\left | x^2\right |\right\}E{∣∣?x2∣∣?}的值,非圓系數越接近于1。
高斯熵
根據香農的信息論,信息熵是描述一個信息的信息量大小和信息的不確定性之間的關系。同樣地假設一個離散隨機變量xxx,其概率密度函數為f(x)f(x)f(x),根據信息論其自信息量為I(x)=?log?f(x)I(x)=-\log{f(x)}I(x)=?logf(x),其平均信息量為:
H(x)=?∫f(x)log?f(x)dxH(x) = -\int{f(x)\log{f(x)}dx} H(x)=?∫f(x)logf(x)dx
其中H(x)H(x)H(x)被稱為隨機變量的熵。
對于復隨機信號,可以根據上述的定義得到一個含增強協方差矩陣的熵:
H(X)=12log?[(πe)2Ndet?Caug]H(X)=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]} H(X)=21?log[(πe)2NdetCaug?]
其中,det?Caug=det?2Cxxdet?(1?KKH)=det?2Cxx∏n=1N(1?kn2)\det{C_{aug}}=\det^2{C_{xx}}\det{(1-KK^H)}=\det^2{C_{xx}}{\prod_{n=1}^{N}}(1-k_n^2)detCaug?=det2Cxx?det(1?KKH)=det2Cxx?∏n=1N?(1?kn2?)
對于一個非圓的復高斯隨機信號的熵可以改寫為如下公式:
Hnoncir=12log?[(πe)2Ndet?Caug]=log?[(πe)2Ndet?Cxx]+12log?∏n=1N(1?kn2)H_{noncir}=\frac{1}{2}\log{[(\pi e)^{2N}\det{C_{aug}}]}=\log{[(\pi e)^{2N}\det{C_{xx}}]}+\frac{1}{2}\log{{\prod_{n=1}^{N}}(1-k_n^2)} Hnoncir?=21?log[(πe)2NdetCaug?]=log[(πe)2NdetCxx?]+21?logn=1∏N?(1?kn2?)
當復隨機信號為圓時,其熵最大。
為了計算的方便和使用,給出另外一個高斯熵的定義方法
- 高斯熵的定義2:假設復隨機信號為x=xR+jxI{\bf{x}}=x_R+jx_Ix=xR?+jxI?,可以得到其熵的定義為:
H(x)?H(x,x?)=?E{log?p(x,x?)}H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} H(x)?H(x,x?)=?E{logp(x,x?)}
將其視為兩個獨立的隨機變量,可以得到其概率密度函數
p(x)=p(x,x?)=1πdet?Πexp(?[xx?]HΠ?1[xx?]/2)p(x)=p(x,x^*)=\frac{1}{\pi \sqrt{\det{\Pi} } }exp(-\begin{bmatrix}x\\x^*\end{bmatrix}^H\Pi^{-1}\begin{bmatrix}x\\x^*\end{bmatrix}/2) p(x)=p(x,x?)=πdetΠ?1?exp(?[xx??]HΠ?1[xx??]/2)
Π=[E{∣x2∣}E{x2}E{(x2)?}E{∣x2∣}]\Pi = \begin{bmatrix}E\left\{\left | x^2\right |\right\} &E\left\{x^2\right\}\\ E\left\{(x^2)^*\right\}&E\left\{\left | x^2\right |\right\} \end{bmatrix} Π=[E{∣∣?x2∣∣?}E{(x2)?}?E{x2}E{∣∣?x2∣∣?}?]
其中Π\PiΠ是[x,x?]T[x,x^*]^T[x,x?]T的協方差。將上述兩式結合可以得到高斯熵的定義:
H(x)?H(x,x?)=?E{log?p(x,x?)}=1+log?(π)+12[E2{∣x2∣}?∣E{x2}∣2]H(x)\triangleq H(x,x^*)=-E\left\{\log{p(x,x^*)} \right\} \\ =1+\log{(\pi)}+\frac{1}{2}[E^2\left\{\left | x^2\right |\right\} -\left |E\left\{x^2\right\}\right |^2] H(x)?H(x,x?)=?E{logp(x,x?)}=1+log(π)+21?[E2{∣∣?x2∣∣?}?∣∣?E{x2}∣∣?2]
總結
以上是生活随笔為你收集整理的复随机变量及高斯熵的概念的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 基于MATLAB的面向对象编程(4)——
- 下一篇: 基于MATLAB的面向对象编程(5)——