UA MATH564 概率分布1 二項分布下

• de Moivre-Laplace定理
• Poisson分布近似二項分布

這一篇考慮二項分布的一些近似計算問題，考慮$X～Binom(n,p)$，
$$P(X=k)=C_n^k{p}^k(1?p{)}^{n?k},k=0,1,?,n$$
最主要的計算問題是在計算組合數的時候
$$C_n^k=\frac{n!}{(n?k)!k!}$$
一般會根據這個公式按階乘來計算，但階乘的增長是很快的，數字比較大的時候通過階乘計算組合數精度不理想。

de Moivre-Laplace定理

如果$n,k,n?k$都比較大，就可以用Stirling公式近似計算階乘：
$$\begin{gathered} n!\approx \sqrt{2\pi }{n}^{n+1/2}{e}^{?n} \\ {C}_n^k\approx \frac{\sqrt{2\pi }{n}^{n+1/2}{e}^{?n}}{(\sqrt{2\pi }(n?k{)}^{n?k+1/2}{e}^{?n+k})(\sqrt{2\pi }{k}^{k+1/2}{e}^{?k})} \\ =\frac{1}{\sqrt{2\pi n}}{\left(\frac{n}{n?k}\right)}^{n?k+1/2}{\left(\frac{n}{k}\right)}^{k+1/2} \end{gathered}$$
將這個組合數的近似公式帶入二項分布的概率中
$$P(X=k)=\frac{1}{\sqrt{2\pi np(1?p)}}{\left(\frac{n(1?p)}{n?k}\right)}^{n?k+1/2}{\left(\frac{np}{k}\right)}^{k+1/2}$$
這個形式的好處是避開了大整數的階乘運算。接下來我們進一步做點推導，看看有沒有更簡單的形式。考慮
$$\ln {\left(\frac{np}{k}\right)}^{k+1/2}=?(k+1/2)\ln \frac{k}{np}$$
記$$\begin{gathered} x_k=\frac{k?np}{\sqrt{np(1?p)}},k=np+x_k\sqrt{np(1?p)} \\ \ln {\left(\frac{np}{k}\right)}^{k+1/2}=?(np+x_k\sqrt{np(1?p)}+1/2)\ln \left(1+\frac{x_k(1?p)}{\sqrt{np(1?p)}}\right) \end{gathered}$$
取Taylor展開的前兩項做近似
$$\ln \left(1+\frac{x_k(1?p)}{\sqrt{np(1?p)}}\right)\approx \frac{x_k(1?p)}{\sqrt{np(1?p)}}?{\left(\frac{x_k(1?p)}{\sqrt{np(1?p)}}\right)}^2$$
回帶化簡得
$$\begin{gathered} \ln {\left(\frac{np}{k}\right)}^{k+1/2}\approx ?x_k\sqrt{np(1?p)}?\frac{1}{2}(1?p)x_k^2 \\ {\left(\frac{np}{k}\right)}^{k+1/2}=\exp \left(?x_k\sqrt{np(1?p)}?\frac{1?p}{2}{x}_k^2\right) \end{gathered}$$
類似地
$${\left(\frac{n(1?p)}{n?k}\right)}^{n?k+1/2}=\exp \left(x_k\sqrt{np(1?p)}?\frac{p}{2}{x}_k^2\right)$$
因此
$$P(X=k)=\frac{1}{\sqrt{2\pi np(1?p)}}\exp \left(?\frac{x_k^2}{2}\right)=\frac{?(x_k)}{\sqrt{np(1?p)}}$$
其中$?(x)$是標準正態分布的密度函數，這個結論也叫做de Moivre-Laplace定理，它給出了用正態分布近似二項分布的計算方法，同時指出二項分布的極限分布是正態分布。進一步實際上de Moivre-Laplace定理是中心極限定理的特例，觀察$x_k$的構造
$$x_k=\frac{k?np}{\sqrt{np(1?p)}}$$
也就是
$$P(X=k)=\frac{1}{\sqrt{2\pi np(1?p)}}\exp \left(?\frac{(k?np{)}^2}{2np(1?p)}\right)$$
這正是$N(np,np(1?p))$的密度函數。

Poisson分布近似二項分布

在de Moivre-Laplace定理的推導中，取Taylor展開前兩項做近似要求$\frac{x_k(1?p)}{\sqrt{np(1?p)}}$是一個比較小的數，這就需要$p$不能很小，當$p$是一個比較小的值時，基于de Moivre-Laplace定理的近似計算誤差就會比較大。當$p$比較小時，定義$\lambda =np$，則
$$\begin{gathered} P(X=k)=C_n^k{p}^k(1?p{)}^{n?k}=\frac{n(n?1)?(n?k+1)}{k!}{\left(\frac{\lambda }{n}\right)}^k{\left(1?\frac{\lambda }{n}\right)}^{n?k} \\ =\frac{{\lambda }^k}{k!}{\left(1?\frac{\lambda }{n}\right)}^{n?k}\frac{n(n?1)?(n?k+1)}{n^k}\to \frac{{\lambda }^k}{k!}{e}^{?\lambda } \end{gathered}$$
當$p$足夠小，$n$足夠大時成立，此時二項分布被近似為Poisson分布。

因此二項分布有兩種可能的極限分布，當$n,k,n?k$都比較大，并且$p$不小的時候，可以用de Moivre-Laplace定理將二項分布近似為正態分布；當$n$比較大，$p$比較小時，可以將二項分布近似為Poisson分布。

總結

以上是生活随笔為你收集整理的UA MATH564 概率分布1 二项分布下的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。