UA MATH566 統(tǒng)計(jì)理論2 C-R不等式

• 單個(gè)參數(shù)的情形
• 多個(gè)參數(shù)的情形

點(diǎn)估計(jì)基礎(chǔ)那一篇討論到UMVUE了，這一講試圖給出無(wú)偏估計(jì)方差的一個(gè)下界。在統(tǒng)計(jì)理論1中推導(dǎo)的Fisher信息其實(shí)就是一個(gè)下界，但這一講會(huì)更詳細(xì)給出相關(guān)結(jié)論。

概念1 Cramer-Rao分布族（正則分布族）$\{f(x,\theta ),\theta \in \Theta \}$
為了讓C-R不等式成立，需要一些條件，滿足這些條件的分布族被稱為C-R分布族：

$\theta \in \Theta$，$\Theta$是開(kāi)集，并且$f(x,\theta )=f(x,{\theta }^{{}^{\prime }})?\theta ={\theta }^{{}^{\prime }}$

記分布族的對(duì)數(shù)似然為$L(\theta )=\ln f(x,\theta )$，假設(shè)對(duì)數(shù)似然二階可導(dǎo)

記得分函數(shù)$S(x,\theta )=?L(\theta )$，并假設(shè)$S(x,\theta )\in L^2(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$

假設(shè)分布族$F_{\theta }$的支撐$Sup{p}_{\theta }=\{x:f(x,\theta )\}>0$與$\theta$無(wú)關(guān)

假設(shè)$f(x,\theta )$關(guān)于$\theta$可導(dǎo)

常見(jiàn)的非正則分布族的分布有均勻分布、帶位移的指數(shù)分布等。

單個(gè)參數(shù)的情形

假設(shè)$\Theta ?\mathbb{R}$，則此時(shí)的得分函數(shù)是一維的
$$S(x,\theta )=\frac{?L(\theta )}{?\theta }=\frac{1}{f(x,\theta )}\frac{?f(x,\theta )}{?\theta }$$
且滿足
$$E[S(X,\theta )]=0,E[S(X,\theta ){]}^2=I(\theta )$$

定理1 $f(x,\theta )$是Cramer-Rao分布族，$\hat{g}(X)$與$\hat{\theta }(X)$分別是$g(\theta )$與$\theta$的無(wú)偏估計(jì)，其中$g(\theta )$可導(dǎo)，則
$$Var(\hat{\theta })\ge I^{?1}(\theta ),Var(\hat{g}(X))\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$

證明 很明顯取$g(\theta )=\theta$就是更簡(jiǎn)單那種情況，所以我們來(lái)證明一下第二個(gè)不等式和它的取等條件。根據(jù)Cauchy-Schwarz不等式，$Var(X)Var(Y)\ge [Cov(X,Y){]}^2$，令$X=\hat{g}(X)$，$Y=S(X,\theta )$，計(jì)算
$$\begin{gathered} Cov(\hat{g}(X),S(X,\theta ))=E[\hat{g}(X)S(X,\theta )]?E[\hat{g}(X)]E[S(X,\theta )]=E[\hat{g}(X)S(X,\theta )] \\ =\int \hat{g}(x)S(x,\theta )f(x,\theta )dx=\frac{?}{?\theta }\int \hat{g}(x)f(x,\theta )dx=g^{\prime }(\theta ) \end{gathered}$$
第三個(gè)等號(hào)先把得分函數(shù)的公式帶入，然后把求導(dǎo)和求積分交換次序得到第四個(gè)等號(hào)，然后那個(gè)積分就是$\hat{g}(X)$的期望，因?yàn)樗菬o(wú)偏估計(jì)，所以期望就是$g(\theta )$。因此
$$\begin{gathered} Var(\hat{g}(X))Var(S(X,\theta ))=Var(\hat{g}(X))I(\theta )\ge [Cov(X,Y){]}^2=[g^{\prime }(\theta ){]}^2 \\ ?Var(\hat{g}(X))\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta ) \end{gathered}$$
根據(jù)Cauchy-Schwarz不等式取等的條件，上式取等需要$?a(\theta )$，
$$S(X,\theta )=a(\theta )\hat{g}(X),a.s.$$

稱$[g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$為Cramer-Rao下界（CRLB），它與Fisher信息成反比，說(shuō)明樣本中信息越多時(shí)，估計(jì)量的方差就越有可能降到更低。對(duì)于簡(jiǎn)單隨機(jī)樣本$X_1,?,X_n$，他們的Fisher信息量是$nI(\theta )$（因?yàn)?span id="ze8trgl8bvbq" class="katex--inline">$S(X,\theta )$關(guān)于$X$的可加性），因此Cramer-Rao下界為
$$CRLB=\frac{1}{n}[g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$
這個(gè)式子說(shuō)明樣本量提高也能降低估計(jì)量的方差的下界。

基于CRLB還可以定義估計(jì)量的效率，
$$e(\hat{g})=\underset{n\to \infty }{\lim }\frac{CRLB}{Var(\hat{g}(X))}$$
如果$e(\hat{g})=1$，稱$\hat{g}(X)$為漸近有效的無(wú)偏估計(jì)。

多個(gè)參數(shù)的情形

在多維的情況下，得分函數(shù)是
$$S(x,\theta )=?L(\theta )$$
且滿足
$$E[S(X,\theta )]=0,E[S(X,\theta )S^T(X,\theta )]=I(\theta )$$
$I(\theta )$是Fisher信息矩陣。

定理2 $f(x,\theta )$是Cramer-Rao分布族，$\hat{g}(X)$與$\hat{\theta }(X)$分別是$g(\theta )$與$\theta$的無(wú)偏估計(jì)，其中$g(\theta )$可導(dǎo)，它的Jacobi矩陣記為$Dg(\theta )$，則
$$Var(\hat{g}(X))\ge Dg(\theta )I^{?1}(\theta )[Dg(\theta ){]}^T$$

證明 思路和定理1證明類似，也是需要根據(jù)Cauchy-Schwarz不等式。計(jì)算
$$\begin{gathered} Cov(\hat{g}(X),S(X,\theta ))=E[\hat{g}(X)S^T(X,\theta )]?E[\hat{g}(X)]E[S(X,\theta )]=E[\hat{g}(X)S^T(X,\theta )] \\ =\int \hat{g}(x)S^T(x,\theta )f(x,\theta )dx=?\int \hat{g}(x)f(x,\theta )dx=Dg(\theta ) \end{gathered}$$
因此
$$\begin{gathered} Var(\hat{g}(X))\ge [Cov(X,Y)]Var(S(X,\theta ){)}^{?1}[Cov(X,Y){]}^T \\ ?Var(\hat{g}(X))\ge Dg(\theta )I^{?1}(\theta )[Dg(\theta ){]}^T \end{gathered}$$
根據(jù)Cauchy-Schwarz不等式取等的條件，上式取等需要$?a(\theta )$，
$$S(X,\theta )=a(\theta )\hat{g}(X),a.s.$$

總結(jié)

以上是生活随笔為你收集整理的UA MATH566 统计理论2 C-R不等式简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。