UA MATH566 統計理論5 假設檢驗簡介

• Neyman-Pearson Lemma
• 一個例子
• • 構造拒絕域
  • 分析檢驗的勢
  • ROC曲線

這一講根據最簡單的一類假設檢驗介紹假設檢驗的思想。假設${\theta }_0,{\theta }_1\in \Theta$，原假設和備擇假設是
$$\begin{gathered} H_0:\theta ={\theta }_0 \\ {H}_a:\theta ={\theta }_1 \end{gathered}$$
我們需要根據樣本來決定是拒絕原假設或者不能拒絕原假設。假設檢驗有可能出現兩種錯誤，Type I error（假陽性）是在錯誤地拒絕了為真的原假設，Type II error（假陰性）是在原假設非真時沒能拒絕原假設。記$\alpha$為Type I error發生的概率，$\alpha$又叫顯著性水平，則
$$\alpha =P(reject{H}_0|\theta ={\theta }_0)$$
記$\beta$為Type II error發生的概率，
$$\beta =P(accept{H}_0|\theta ={\theta }_1)$$
稱$1?\beta$為檢驗的勢（power）。記樣本為$X=\{X_1,?,X_n\}$，定義critical region，或者說拒絕域為
$$X\in C?reject{H}_0$$
記顯著性水平$\alpha$下，most powerful的拒絕域為$C^{?}$，若對所有（顯著性水平$\alpha$下的）拒絕域$C$：

$\alpha =P(X\in C^{?}|\theta ={\theta }_0)=P(X\in C|\theta ={\theta }_0)$，即相同的顯著性水平

${\beta }^{?}\le \beta$，即最大的勢。其中${\beta }^{?}=P(X\in C^{?}|\theta ={\theta }_1)$，$\beta =P(X\in C|\theta ={\theta }_1)$

ROC曲線可以比較直觀地比較不同檢驗的power。定義Receiving Operator Curve（ROC）為$1?\beta$關于$\alpha$的圖像，如果某個檢驗的ROC曲線在其他檢驗的上方，則這個檢驗就有更大的勢。
定義上面那個簡單檢驗的似然比為
$$\lambda (X)=\frac{{\sup }_{\{\theta ={\theta }_0\}}L(\theta |X)}{{\sup }_{\{\theta ={\theta }_0,{\theta }_1\}}L(\theta |X)}=\frac{L({\theta }_0|X)}{\max \{L({\theta }_0|X),L({\theta }_1|X)\}}$$
顯然$\lambda (X)\in [0,1]$，用這個統計量（似然比統計量，這個檢驗叫似然比檢驗）構造拒絕域為
$$C^{?}=\{X:\lambda (X)\le c\}$$
其中$c\in [0,1]$，它的選取與顯著性水平相關。這個拒絕域的定義也比較合理，如果原假設的似然相比備擇假設來說非常小的話，我們是應該拒絕原假設的。注意到如果$\max \{L({\theta }_0|X),L({\theta }_1|X)\}=L({\theta }_0|X)$，這個時候$\lambda (X)=1$，顯然不會拒絕原假設，所以對于這個簡單的假設檢驗，一般把拒絕域寫成
$$C^{?}=\{X:\frac{L({\theta }_0|X)}{L({\theta }_1|X)}\le c_{\alpha }\}$$

Neyman-Pearson Lemma

這個引理告訴我們一個非常簡單有深刻的道理：給定顯著性水平下根據似然比統計量構造的拒絕域是most power的！
證明：
思路是計算$\beta ?{\beta }^{?}$，并證明其非負。
給定顯著性水平$\alpha$，對任一拒絕域$C$，$i=0,1$
$$\begin{gathered} P(X\in C|\theta ={\theta }_i)=P(X\in C\cap C^{?}|\theta ={\theta }_i)+P(X\in C?C^{?}|\theta ={\theta }_i) \\ P(X\in C^{?}|\theta ={\theta }_i)=P(X\in C\cap C^{?}|\theta ={\theta }_i)+P(X\in C^{?}?C|\theta ={\theta }_i) \end{gathered}$$
首先這兩個拒絕域的顯著性水平是一樣的，即
$$\alpha =P(X\in C^{?}|{\theta }_0)=P(X\in C|{\theta }_0)$$
排除掉兩個拒絕域的并集，那么
$$P(X\in C^{?}?C|{\theta }_0)=P(X\in C?C^{?}|{\theta }_0)$$
計算
$$\begin{gathered} \beta ?{\beta }^{?}=P(X\in /C|{\theta }_1)?P(X\in /C^{?}|{\theta }_1) \\ =P(X\in C^{?}|{\theta }_1)?P(X\in C|{\theta }_1) \end{gathered}$$
同樣排除掉兩個拒絕域的并集
$$\beta ?{\beta }^{?}=P(X\in C^{?}?C|{\theta }_1)?P(X\in C?C^{?}|{\theta }_1)$$
根據似然比檢驗的定義
$$\frac{L({\theta }_0|X)}{L({\theta }_1|X)}\le c_{\alpha }?L({\theta }_1|X)\ge k_{\alpha }L({\theta }_0|X),?k_{\alpha },?X\in C^{?}$$
因此
$$\begin{gathered} P(X\in C^{?}?C|{\theta }_1)={\int }_{C^{?}?C}L({\theta }_1|X)dX \\ \ge k_{\alpha }{\int }_{C^{?}?C}L({\theta }_0|X)dX=k_{\alpha }P(X\in C^{?}?C|{\theta }_0) \end{gathered}$$
對于不在$C^{?}$中的$X$，
$$L({\theta }_1|X)\le k_{\alpha }L({\theta }_0|X),?k_{\alpha },?X\in /C^{?}$$
因此
$$\begin{gathered} P(X\in C?C^{?}|{\theta }_1)={\int }_{C?C^{?}}L({\theta }_1|X)dX \\ \le k_{\alpha }{\int }_{C?C^{?}}L({\theta }_0|X)dX=k_{\alpha }P(X\in C?C^{?}|{\theta }_0) \end{gathered}$$
將這兩個不等式帶入到$\beta ?{\beta }^{?}$中，
$$\beta ?{\beta }^{?}\ge k_{\alpha }(P(X\in C?C^{?}|{\theta }_0)?P(X\in C?C^{?}|{\theta }_0))=0$$

一個例子

假設總體是正態分布$N(\mu ,{\sigma }_0^2)$，其中${\sigma }_0$是已知的。我們猜測均值可能是${\mu }_0$或者${\mu }_1$（不失一般性假設${\mu }_1<{\mu }_0$），現在有樣本$X$，我們想要用假設檢驗的思路判斷均值是哪個：
$$\begin{gathered} H_0:\mu ={\mu }_0 \\ {H}_a:\mu ={\mu }_1 \end{gathered}$$

構造拒絕域

計算這個假設檢驗的似然比
$$\begin{gathered} \frac{L({\mu }_0|X)}{L({\mu }_1|X)}=\frac{(\sqrt{2\pi }{\sigma }_0{)}^n}{(\sqrt{2\pi }{\sigma }_0{)}^n}\frac{{\prod }_{i=1}^n\exp (?(2{\sigma }_0^2{)}^{?1}(X_i?{\mu }_0{)}^2)}{{\prod }_{i=1}^n\exp (?(2{\sigma }_0^2{)}^{?1}(X_i?{\mu }_1{)}^2)} \\ =\exp \left(?(2{\sigma }_0^2{)}^{?1}\sum _{i=1}^n[(X_i?{\mu }_0{)}^2?(X_i?{\mu }_1{)}^2]\right) \\ =\exp \left(n(2{\sigma }_0^2{)}^{?1}({\mu }_0?{\mu }_1)(2\bar{X}?{\mu }_0?{\mu }_1)\right) \end{gathered}$$
只需要找到一個滿足
$$\alpha =P(X\in C^{?}|\theta ={\theta }_0)$$
的常數$c_{\alpha }$就可以寫出似然比檢驗的拒絕域
$$C^{?}=\{X:\frac{L({\mu }_0|X)}{L({\mu }_1|X)}\le c_{\alpha }\}$$
注意到似然比與$\bar{X}$成正比，因此上面定義的拒絕域等價于
$$C^{?}=\{X:\bar{X}\le x_{\alpha }\},?x_{\alpha },\alpha =P(X\in C^{?}|\theta ={\theta }_0)$$
因為$\bar{X}～N(\mu ,\frac{{\sigma }_0^2}{n})$，對上式做標準化
$$P(X\in C^{?}|\theta ={\theta }_0)=\Phi (\frac{x_{\alpha }?{\mu }_0}{{\sigma }_0/\sqrt{n}})$$
記$z_{\alpha }$為標準正態分布的$\alpha$上分位點，則
$$\frac{x_{\alpha }?{\mu }_0}{{\sigma }_0/\sqrt{n}}=?z_{\alpha }?x_{\alpha }={\mu }_0?z_{\alpha }\frac{{\sigma }_0}{\sqrt{n}}$$
所以用似然比檢驗構造的這個檢驗的拒絕域為
$$C^{?}=\{X:\bar{X}\le {\mu }_0?z_{\alpha }\frac{{\sigma }_0}{\sqrt{n}}\}$$

分析檢驗的勢

上面這個似然比檢驗的勢函數為
$$\begin{gathered} Power=P(X\in C^{?}|\mu ={\mu }_1)=P(\bar{X}\le {\mu }_0?z_{\alpha }\frac{{\sigma }_0}{\sqrt{n}}|\mu ={\mu }_1) \\ =P(\frac{\bar{X}?{\mu }_1}{{\sigma }_0/\sqrt{n}}\le \frac{{\mu }_0?z_{\alpha }\frac{{\sigma }_0}{\sqrt{n}}?{\mu }_1}{{\sigma }_0/\sqrt{n}}|\mu ={\mu }_1)=\Phi (\frac{{\mu }_0?{\mu }_1}{{\sigma }_0/\sqrt{n}}?z_{\alpha }) \end{gathered}$$
顯然這個檢驗的勢與$|{\mu }_0?{\mu }_1|$成正比，與${\sigma }_0$成反比，與樣本量$n$成正比，與顯著性水平$\alpha$成正比。

ROC曲線

作出勢函數關于顯著性水平的圖像，即為ROC曲線：
$$Power=\Phi (\frac{{\mu }_0?{\mu }_1}{{\sigma }_0/\sqrt{n}}?z_{\alpha })$$
根據Neyman-Pearson引理，這個勢已經是給定${\mu }_1,{\mu }_0,n,\alpha$的條件下最優的了。ROC曲線想展示的是給定顯著性水平下，power怎么受檢驗本身參數的影響，也就是受$|{\mu }_0?{\mu }_1|$的影響。

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论5 假设检验简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。