UA MATH566 統(tǒng)計理論 Cramer-Rao不等式與Delta方法的聯(lián)系

• Delta方法與C-R不等式基本概念回顧
• • Delta方法近似
  • C-R不等式近似
• 推導(dǎo)Delta方法與C-R不等式近似相等的條件

在math 564概率論與math 566統(tǒng)計理論中，我們一共掌握了三種對復(fù)雜統(tǒng)計量的方差做近似的方法，分別是delta方法、Cramer-Rao不等式以及Bootstrap。Bootstrap與前兩者的聯(lián)系到介紹到統(tǒng)計計算的時候討論，這一講先介紹delta方法、Cramer-Rao不等式的聯(lián)系。

Delta方法與C-R不等式基本概念回顧

在UA MATH564 概率論V 中心極限定理中我們首次介紹了delta方法，它的核心思想就是把復(fù)雜的統(tǒng)計量視為簡單統(tǒng)計量的函數(shù)，對這個函數(shù)在簡單統(tǒng)計量期望附近做Taylor展開，基于Taylor展開求期望或者方差，就可以用來近似復(fù)雜統(tǒng)計量的期望或者方差。在UA MATH566 統(tǒng)計理論2 C-R不等式簡介中我們比較詳細地介紹了一下C-R不等式的基本理論，它對于所有的正則分布族成立，是由Cauchy-Schwarz不等式導(dǎo)出的。既然要比較兩種方法，我們就把討論范圍限定為正則分布族：

概念1 Cramer-Rao分布族（正則分布族）$\{f(x,\theta ),\theta \in \Theta \}$
為了讓C-R不等式成立，需要一些條件，滿足這些條件的分布族被稱為C-R分布族：

$\theta \in \Theta$，$\Theta$是開集，并且$f(x,\theta )=f(x,{\theta }^{{}^{\prime }})?\theta ={\theta }^{{}^{\prime }}$

記分布族的對數(shù)似然為$L(\theta )=\ln f(x,\theta )$，假設(shè)對數(shù)似然二階可導(dǎo)

記得分函數(shù)$S(x,\theta )=?L(\theta )$，并假設(shè)$S(x,\theta )\in L^2(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$

假設(shè)分布族$F_{\theta }$的支撐$Sup{p}_{\theta }=\{x:f(x,\theta )\}>0$與$\theta$無關(guān)

假設(shè)$f(x,\theta )$關(guān)于$\theta$可導(dǎo)

假設(shè)一元正則分布族$f(x,\theta ),\theta \in \Theta$有一組隨機樣本$\{X_i{\}}_{i=1}^n$，$\hat{\theta }$是$\theta$的一個無偏估計量，$g(\hat{\theta })$是$g(\theta )$的一個估計量，下面我們分別用Delta方法與C-R不等式近似$\hat{g}(\hat{\theta })$的方差。

Delta方法近似

對$g(\hat{\theta })$在$\theta$附近做Taylor展開，
$$g(\hat{\theta })=g(\theta )+g^{\prime }(\theta )(\hat{\theta }?\theta )+o((\hat{\theta }?\theta {)}^2)$$

對一階近似求方差，那么
$$Var(g(\hat{\theta }))\approx [g^{\prime }(\theta ){]}^{2}Var(\hat{\theta })$$

C-R不等式近似

C-R不等式要求$g(\hat{\theta })$是$g(\theta )$的一個無偏估計量，進而
$$Var(g(\hat{\theta }))\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$

這個不等式取等需要$?a(\theta )$，
$$S(X,\theta )=a(\theta )g(\hat{\theta }),a.s.$$

推導(dǎo)Delta方法與C-R不等式近似相等的條件

當(dāng)可以用C-R下界近似$Var(g(\hat{\theta }))$時，$?a(\theta )$，
$$S(X,\theta )=a(\theta )g(\hat{\theta }),a.s.$$

此時$Var(g(\hat{\theta }))$的近似為
$$Var(g(\hat{\theta }))=[g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$

Delta方法近似說的是
$$Var(g(\hat{\theta }))\approx [g^{\prime }(\theta ){]}^{2}Var(\hat{\theta })$$

根據(jù)C-R不等式
$$[g^{\prime }(\theta ){]}^{2}Var(\hat{\theta })\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$

取等條件是$?a(\theta )$，
$$S(X,\theta )=c(\theta )\hat{\theta },a.s.$$

結(jié)合這兩個取等條件，Delta方法與C-R不等式近似相等的條件有兩種：
條件一：$?a(\theta ),c(\theta )$，$a(\theta )g(\hat{\theta })=c(\theta )\hat{\theta }=S(X,\theta ),a.s.$

條件二：$\hat{\theta }$是$\theta$的一個UMVUE，并且$?a(\theta )$，
$$S(X,\theta )=a(\theta )g(\hat{\theta }),a.s.$$

因為方差達到C-R下界的無偏估計一定是UMVUE，所以條件1和條件2必定等價。條件二稍微直觀一點，我們先分析條件二，
$$\begin{gathered} S(X,\theta )=\frac{?\log L(\theta )}{?\theta }=a(\theta )g(\hat{\theta }),a.s. \\ ?\log L(\theta )={\int }_{?\infty }^{\theta }a(\xi )g(\hat{\theta })d\xi =b(\theta )g(\hat{\theta }) \end{gathered}$$

其中$b(\theta )={\int }_{?\infty }^{\theta }a(\xi )d\xi$，這個條件的含義是對數(shù)似然函數(shù)對參數(shù)與樣本是可分離的。滿足這個條件的分布比較常見，比如$EXP(\lambda ),N(0,{\sigma }^2)$等。

總結(jié)

以上是生活随笔為你收集整理的UA MATH566 统计理论 Cramer-Rao不等式与Delta方法的联系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。