2.3 條件概率分布與隨機變量的獨立性

2.3.1 條件概率分布的概念

一個隨機變量或向量$X$的條件概率分布，就是在某種給定的條件之下，$X$的概率分布.

考慮之前提到的體重$X_1$與身高$X_2$的二維正態分布$N\left(a,b,{\sigma }_2^1,{\sigma }_2^2,\rho \right)$.根據之前的論述可以知道$X_1$,$X_2$都有單獨的概率分布,分別為$N\left(a,{\sigma }_1^2\right)$和$N\left(b,{\sigma }_2^2\right)$. 現在如限制$1.7?X_2?1.8$(米 ), 在這個條件下去求$X_1$的 條件分布,這就意味著要從這一大群人中把其身高在$1.7$米和$1.8$米的那些人都挑出來,然后在挑出的人群中求其體重的分布. 容易想像, 這個分布與不設這個條件的分布 (無條件分布)會很不一樣.體重取大值的概率會顯著增加.

從這個例子也看出條件分布這個概念的重要性.

2.3.2 離散型隨機變量的條件概率分布

這個比較簡單,直接給例子.

多項分布的條件概率分布

設$\left(X_1,X_2,?,X_n\right)$服從多項分布$M(N;p_1,?,$,$p_n$). 在給定$X_2=k_2$的條件下,$X_1$的條件分布為$B\left(N?k_2,p_1/\left(1?p_2\right)\right)$

代數證明略去.這個公式的直觀意義為在$X_2=k_2$的條件下,剩下$n?1$個變量的聯合分布就變為$n?k_2$個物品分成$n?1$堆,每個物品分到第$i$堆的概率從$p_i$變成$p_i/(1?p_2)$.那么$X_1$的條件分布就變為$M\left(N?k_2;p_1/(1?p_2),p_3/(1?p_2),?,p_n/(1?p_2)\right)$的邊緣分布,即$B\left(N?k_2,p_1/\left(1?p_2\right)\right)$

2.3.3 連續型隨機變量的條件分布

連續型隨機變量的條件分布函數如下

當$a=b$時

$$f_1\left(x_1\mid a?X_2?b\right)={\int }_a^{b}f\left(x_1,t_2\right)\mathrm{d}{t}_2/{\int }_a^b{f}_2\left(t_2\right)\mathrm{d}{t}_2$$

當$a=b=x_2$時

$$f\left(x_1\mid x_2\right)=f_2\left(x_2\right)f_1\left(x_1,x_2\right)$$

可以記為
$$f\left(x_1,x_2\right)=f_2\left(x_2\right)f_1\left(x_1\mid x_2\right)$$
可以看出該公式對應于條件概率的公式$P(AB)=P(B)P(A\mid B)$

推廣到任意多變量的場合

$$f\left(x_1,?,x_n\right)=g\left(x_1,?,x_k\right)h\left(x_{k+1},?,x_n\mid x_1,?,x_k\right)$$

下面給出連續型隨機變量的條件分布的例子

二維正態分布的條件分布

設$\left(X_1,X_2\right)$服從二維正態分布$N\left(a,b,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$. 在給定$X_1=x_1$的條件下,$X_2$的條件密度函數
$$\begin{array}{rl}{f}_2\left(x_2\mid x_1\right)=& \frac{1}{\sqrt{2\pi }{\sigma }_2\sqrt{1?{\rho }^2}}\\ & ?\exp \left[?\frac{{\left(x_2?\left(b+\rho {\sigma }_2{\sigma }_1^{?1}\left(x_1?a\right)\right)\right)}^2}{2\left(1?{\rho }^2\right){\sigma }_2^2}\right]\end{array}$$
這正是正態分布$N\left(b+\rho {\sigma }_2{\sigma }_1^{?1}\left(x_1?a\right),{\sigma }_2^2\left(1?{\rho }^2\right)\right)$的概率密度函數.

由這里可以看出$\rho$刻畫了$X_1,X_2$之間的相依關系.解釋如下:

若$\rho >0$, 則隨著$x_1$的增加,$X_2$(在$X_1=x_1$之下) 的條件分布的中心點$m\left(x_1\right)$隨$x_1$的增加而增加. 可以看出: 這意味著當$x_1$增加時,$X_2$取大值的可能性增加, 即$X_2$有隨著$X_1$的增長而增長.若$\rho <0$則情況相反.若$\rho =0$則無關.這從中心點的角度刻畫了$\rho$對$X_1$,$X_2$相依關系的刻畫.

下圖展示了$X1$分布為$N\left(25,64\right)$和$X_2$分布為$N\left(25,64\right)$時,不同$\rho$下二維正態分布的概率密度.

下圖展示了$rho=0.5$時,$X_1=15,25,35$下$X_2$的條件分布

若$|\rho |=0$,則$\sigma ={\sigma }_2$,$X_2$分布的集中程度不受$X_1$影響.現在考慮極端情況,假如$|\rho |=1$,那么$\sigma =0$,由一維正態分布的性質可以知道$X_2$的取值全部集中于$m(X_1)$.也就是說,$X_2$的取值由$X_1$完全決定.這從集中程度的角度刻畫了$\rho$對$X_1$,$X_2$相依關系的刻畫.

下圖為$\rho =0.999$時$X_2$的條件分布

2.3.4 隨機變量的獨立性

定義$3.1$設$n$維隨機向量$\left(X_1,?,X_n\right)$的聯合密度函數為$f\left(x_1,?,x_n\right)$, 而$X_i$的(邊緣)密度函數為$f_i\left(x_i\right),i=1,?,n$. 如 果
$$f\left(x_1,?,x_n\right)=f_1\left(x_1\right)?f_n\left(x_n\right)$$
就稱隨機變量$X_1,?,X_n$相互獨立或簡稱獨立

定義 3.2 設$X_1,?,X_n$都是離散型隨機變量. 若對任何常 數$a_1,?,a_n$, 都有
$$P\left(X_1=a_1,?,X_n=a_n\right)=P\left(X_1=a_1\right)?P\left(X_n=a_n\right)$$
則稱$X_1,?,X_n$相互獨立

定理$3.1$如果連續變量$X_1,?,X_n$獨立時, 則對任何$a_i<$$b_i,i=1,?,n$, 由$(3.14)$定義的$n$個事件$A_1,?,A_n$也獨立.

定理$3.2$若連續型隨機向量$\left(X_1,?,X_n\right)$的概率密度函數$f\left(x_1,?,x_n\right)$可表為$n$個函數$g_1,?,g_n$之積, 其中$g_i$只依賴于$x_i$, 即
$$f\left(x_1,?,x_n\right)=g_1\left(x_1\right)?g_n\left(x_n\right)$$
則$X_1,?,X_n$相互獨立,且$X_i$的邊緣密度函數$f_i\left(x_i\right)$與$g_i\left(x_i\right)$只 相差一個黨數因子

定理$3.3$若$X_1,?,X_n$相互獨立,而
$$Y_1=g_1\left(X_1,?,X_m\right),Y_2=g_2\left(X_{m+1},?,X_n\right)$$
則$Y_1$和$Y_2$獨立.

總結

以上是生活随笔為你收集整理的概率论于数理统计(陈希孺)笔记2.3的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。