UA MATH566 統計理論4 貝葉斯統計基礎1

• 貝葉斯公式
• 貝葉斯充分統計量

這一講討論貝葉斯統計的一些基礎思想，會分成三個部分，第一部分討論貝葉斯統計的設定；第二部分討論貝葉斯統計的估計與假設檢驗；第三部分討論貝葉斯統計的置信區間。

貝葉斯公式

假設$X$是概率空間$(\mathcal{X},\mathcal{B}(\mathcal{X}),P_{\theta })$上的隨機變量，$\mathcal{X}?{\mathbb{R}}^n$，它表示一組簡單隨機樣本$X_1,?,X_n～f(x|\theta )$，$\theta$是分布的參數，$\theta \in \Theta$，$\Theta$被稱為參數空間。參數空間與其Borel $\sigma$-代數構成一個可測空間$(\Theta ,\mathcal{B}(\Theta ))$，用$Cap(\Theta ,\mathcal{B}(\Theta ))$表示參數空間上所有可能的概率測度的集合，對于$P_{\pi }\in Cap(\Theta ,\mathcal{B}(\Theta ))$，稱測度$P_{\pi }$導出的密度為參數$\theta$的一個先驗密度，記為$\pi (\theta )=P_{\pi }(d\theta )/d\theta$，它與$f(x|\theta )$共同決定參數與樣本的聯合密度：
$$f(x,\theta )=f(x|\theta )\pi (\theta )$$
給定一組樣本，參數的后驗密度是
$$\pi (\theta |x)=\frac{f(x,\theta )}{f(x)}=\frac{f(x|\theta )\pi (\theta )}{{\int }_{\Theta }f(x|\theta )\pi (\theta )d\theta }\propto f(x|\theta )\pi (\theta )$$
這個公式叫貝葉斯公式，$f(x|\theta )\pi (\theta )$叫后驗密度的核，根據這個可以確定$\theta$的分布形式。

例1 假設一個硬幣擲出數字的概率是$p$，擲出頭像的概率是$1?p$，如果$p$的先驗是$beta(3,3)$，重復30次試驗擲出了16個正面，估計這個硬幣擲出正面的概率。

例2 一組簡單隨機樣本$X_1,?,X_n～N(\theta ,{\sigma }^2)$，$\theta ～N(\mu ,1/{\lambda }_0)$，求$\theta$的后驗分布。

貝葉斯充分統計量

稱統計量$T(X)$為貝葉斯充分統計量，如果$?P_{\pi }\in Cap(\Theta ,\mathcal{B}(\Theta ))$，
$$\pi (\theta |x)=\pi (\theta |T(x))$$
即后驗分布可以表示成$\theta$與$T(x)$的函數。

定理 如果$T(X)$是充分統計量，則$T(X)$是貝葉斯充分統計量，反之亦然。

證明
1）假設$T(X)$是充分統計量，先用貝葉斯公式，然后用Fisher-Neyman定理
$$\pi (\theta |x)=\frac{f(x|\theta )\pi (\theta )}{{\int }_{\Theta }f(x|\theta )\pi (\theta )d\theta }=\frac{h(x)g(\theta ,T(x))\pi (\theta )}{{\int }_{\Theta }h(x)g(\theta ,T(x))\pi (\theta )d\theta }=\frac{g(\theta ,T(x))\pi (\theta )}{{\int }_{\Theta }g(\theta ,T(x))\pi (\theta )d\theta }$$
顯然后驗是只與$\theta$和$T(x)$有關的，因此$T(X)$是貝葉斯統計量；
2）假設$T(X)$是貝葉斯充分統計量，根據貝葉斯公式，
$$\pi (\theta |x)=\frac{f(x,\theta )}{f(x)}=\frac{f(x|\theta )\pi (\theta )}{f(x)}?f(x|\theta )=\frac{\pi (\theta |x)f(x)}{\pi (\theta )}=f(x)\frac{\pi (\theta |T(x))}{\pi (\theta )}$$
其中$f(x)$只與樣本有關，$\frac{\pi (\theta |T(x))}{\pi (\theta )}$只與$\theta$和$T(x)$有關，根據Fisher-Neyman定理，$T(X)$是充分統計量。

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论4 贝叶斯统计基础1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。