UA MATH564 概率论IV 次序统计量
UA MATH564 概率論IV 次序統計量
- 次序統計量的分布
- 例子
- 例1:均勻分布的次序統計量
- 例2:Dirichlet分布
次序統計量的分布
次序統計量的作用是比較大的,經常可以作為某些分布的充分統計量,統計量的含義以及次序統計量的重要性可以參考統計理論那個系列。假設樣本為{X1,X2,?,Xn}\{X_1,X_2,\cdots,X_n\}{X1?,X2?,?,Xn?},總體分布為F(X)F(X)F(X),概率密度為f(x)f(x)f(x)。將這組樣本按從小到大的順序排列,并記為{X(1),X(2),?,X(n)}\{X_{(1)},X_{(2)},\cdots,X_{(n)}\}{X(1)?,X(2)?,?,X(n)?},則這種統計量叫做樣本的次序統計量。
定理1(單個次序統計量的分布)
FX(j)=∑k=jnCnk[F(x)]k[1?F(x)]n?kF_{X_{(j)}} = \sum_{k=j}^n C_n^k [F(x)]^k[1-F(x)]^{n-k}FX(j)??=k=j∑n?Cnk?[F(x)]k[1?F(x)]n?k
證明
先描述一個比較直觀的推導:要計算X(j)X_{(j)}X(j)?的分布就是要想辦法估計P(X(j)≤x)P(X_{(j)} \le x)P(X(j)?≤x),顯然X(1)X_{(1)}X(1)?到X(j?1)X_{(j-1)}X(j?1)?也要小于xxx。這意味著在原來的nnn個樣本{X1,X2,?,Xn}\{X_1,X_2,\cdots,X_n\}{X1?,X2?,?,Xn?}中,至少有jjj個比xxx小。簡單隨機樣本獨立同分布,因此比xxx小的樣本數目服從二項分布binom(n,F(x))binom(n,F(x))binom(n,F(x))。如果有k≥jk\ge jk≥j個比xxx小,那么概率就是Cnk[F(x)]k[1?F(x)]n?kC_n^k [F(x)]^k[1-F(x)]^{n-k}Cnk?[F(x)]k[1?F(x)]n?k,對所有可能的kkk求和就可以得到P(X(j)≤x)P(X_{(j)} \le x)P(X(j)?≤x)。
下面給出正式證明:
定義Yj=I(?∞,x](Xj)Y_j = I_{(-\infty,x]}(X_j)Yj?=I(?∞,x]?(Xj?),記
p=P(Yj=1)=P(Xj≤x)=F(x)p = P(Y_j=1)=P(X_j \le x) = F(x)p=P(Yj?=1)=P(Xj?≤x)=F(x)
從而Yj~Ber(F(x))Y_j \sim Ber(F(x))Yj?~Ber(F(x))。定義Sn=∑j=1nYjS_n = \sum_{j=1}^n Y_jSn?=∑j=1n?Yj?,根據Bernoulli分布的可加性,Sn~Binom(n,F(x))S_n \sim Binom(n,F(x))Sn?~Binom(n,F(x))。從而
FX(j)=P(X(j)≤x)=P(Sn≥j)=∑k=jnCnk[F(x)]k[1?F(x)]n?kF_{X_{(j)}} = P(X_{(j)} \le x) = P(S_n \ge j) \\ = \sum_{k=j}^n C_n^k [F(x)]^k[1-F(x)]^{n-k}FX(j)??=P(X(j)?≤x)=P(Sn?≥j)=k=j∑n?Cnk?[F(x)]k[1?F(x)]n?k
定理2(單個次序統計量的概率密度)
fX(j)(x)=jCnj[F(x)]j?1[1?F(x)]n?jf(x)f_{X_{(j)}}(x) = jC_n^j [F(x)]^{j-1}[1-F(x)]^{n-j}f(x)fX(j)??(x)=jCnj?[F(x)]j?1[1?F(x)]n?jf(x)
證明
這個其實可以直接硬算,但這里給一個比較直觀的推導:考慮
fX(j)(x)Δx=P(x≤X(j)<x+Δx)f_{X_{(j)}}(x) \Delta x = P(x \le X_{(j)}<x+\Delta x)fX(j)??(x)Δx=P(x≤X(j)?<x+Δx)
這個概率可以分成三部分來求:
第一條對應的概率為Cn1f(x)ΔxC_n^1f(x) \Delta xCn1?f(x)Δx;第二條對應的概率為Cn?1j?1[F(x)]j?1C_{n-1}^{j-1}[F(x)]^{j-1}Cn?1j?1?[F(x)]j?1;第三條對應的概率為[1?F(x)]n?j[1-F(x)]^{n-j}[1?F(x)]n?j。因此
fX(j)(x)Δx=[Cn1f(x)Δx][Cn?1j?1[F(x)]j?1][[1?F(x)]n?j]=jCnj[F(x)]j?1[1?F(x)]n?jf(x)Δxf_{X_{(j)}}(x) \Delta x = [C_n^1f(x) \Delta x][C_{n-1}^{j-1}[F(x)]^{j-1}][[1-F(x)]^{n-j}] \\ =jC_n^j [F(x)]^{j-1}[1-F(x)]^{n-j}f(x) \Delta xfX(j)??(x)Δx=[Cn1?f(x)Δx][Cn?1j?1?[F(x)]j?1][[1?F(x)]n?j]=jCnj?[F(x)]j?1[1?F(x)]n?jf(x)Δx
這里只用了一個nCn?1j?1=jCnjnC_{n-1}^{j-1} = jC_n^jnCn?1j?1?=jCnj?的關系。
定理3(兩個次序統計量的聯合概率密度)不妨假設j>ij>ij>i,則
fX(i),X(j)(xi,xj)=(n)2f(xi)f(xj)Cn?2i?1Cn?i?3j?i?1[F(xi)]i?1[F(xj)?F(xi)]j?i?1[1?F(xj)]n?jf_{X_{(i)},X_{(j)}}(x_i,x_j)=(n)_2f(x_{i})f(x_{j}) C_{n-2}^{i-1}C_{n-i-3}^{j-i-1}[F(x_i)]^{i-1}[F(x_j)-F(x_i)]^{j-i-1}[1-F(x_j)]^{n-j}fX(i)?,X(j)??(xi?,xj?)=(n)2?f(xi?)f(xj?)Cn?2i?1?Cn?i?3j?i?1?[F(xi?)]i?1[F(xj?)?F(xi?)]j?i?1[1?F(xj?)]n?j
證明
用上面那個定理那種比較直觀的推導辦法。
fX(i),X(j)(xi,xj)(Δx)2=P(xi≤X(i)<xi+Δx,xj≤X(j)<xj+Δx)f_{X_{(i)},X_{(j)}}(x_i,x_j) (\Delta x)^2 = P(x_i \le X_{(i)} < x_i + \Delta x, x_j\le X_{(j)} < x_j + \Delta x)fX(i)?,X(j)??(xi?,xj?)(Δx)2=P(xi?≤X(i)?<xi?+Δx,xj?≤X(j)?<xj?+Δx)
將這個概率分成四部分計算:
第一條對應的概率是(n)2f(xi)Δxf(xj)Δx(n)_2f(x_i)\Delta x f(x_j)\Delta x(n)2?f(xi?)Δxf(xj?)Δx;第二條對應的概率是Cn?2i?1[F(xi)]i?1C_{n-2}^{i-1}[F(x_i)]^{i-1}Cn?2i?1?[F(xi?)]i?1;第三條對應的概率是Cn?i?3j?i?1[F(xj)?F(xi)]j?i?1C_{n-i-3}^{j-i-1}[F(x_j)-F(x_i)]^{j-i-1}Cn?i?3j?i?1?[F(xj?)?F(xi?)]j?i?1;第四條對應的概率是[1?F(xj)]n?j[1-F(x_j)]^{n-j}[1?F(xj?)]n?j。因此
fX(i),X(j)(xi,xj)(Δx)2=[(n)2f(xi)Δxf(xj)Δx][Cn?2i?1[F(xi)]i?1][Cn?i?3j?i?1[F(xj)?F(xi)]j?i?1][[1?F(xj)]n?j]f_{X_{(i)},X_{(j)}}(x_i,x_j) (\Delta x)^2=[(n)_2f(x_i)\Delta x f(x_j)\Delta x][C_{n-2}^{i-1}[F(x_i)]^{i-1}][C_{n-i-3}^{j-i-1}[F(x_j)-F(x_i)]^{j-i-1}][[1-F(x_j)]^{n-j}]fX(i)?,X(j)??(xi?,xj?)(Δx)2=[(n)2?f(xi?)Δxf(xj?)Δx][Cn?2i?1?[F(xi?)]i?1][Cn?i?3j?i?1?[F(xj?)?F(xi?)]j?i?1][[1?F(xj?)]n?j]
例子
例1:均勻分布的次序統計量
假設{U1,?,Un}\{U_1,\cdots,U_n\}{U1?,?,Un?}是一組[0,1][0,1][0,1]上的均勻分布的簡單隨機樣本,則
F(x)=x,f(x)=1F(x)=x,f(x) = 1F(x)=x,f(x)=1
根據定理2:
fU(j)(x)=jCnj[F(x)]j?1[1?F(x)]n?jf(x)=n!(j?1)!(n?j)!xj?1(1?x)n?j=Γ(n+1)Γ(j)Γ(n?j+1)xj?1(1?x)n?jf_{U_{(j)}}(x) = jC_n^j [F(x)]^{j-1}[1-F(x)]^{n-j}f(x) \\ = \frac{n!}{(j-1)!(n-j)!}x^{j-1}(1-x)^{n-j} \\ = \frac{\Gamma(n+1)}{\Gamma{(j)}\Gamma(n-j+1)}x^{j-1}(1-x)^{n-j}fU(j)??(x)=jCnj?[F(x)]j?1[1?F(x)]n?jf(x)=(j?1)!(n?j)!n!?xj?1(1?x)n?j=Γ(j)Γ(n?j+1)Γ(n+1)?xj?1(1?x)n?j
因此U(j)~Beta(j,n?j+1)U_{(j)} \sim Beta(j,n-j+1)U(j)?~Beta(j,n?j+1)。即均勻分布U[0,1]U[0,1]U[0,1]的次序統計量會服從beta分布。根據定理3:
fU(i),U(j)(xi,xj)=(n)2Cn?2i?1Cn?i?3j?i?1[F(xi)]i?1[F(xj)?F(xi)]j?i?1[1?F(xj)]n?j=n!(i?1)!(j?i?1)!(n?j)!xii?1(xj?xi)j?i?1(1?xj)n?j=Γ(n+1)Γ(i)Γ(j?i)Γ(n?j+1)xii?1(xj?xi)j?i?1(1?xi?(xj?xi))n?jf_{U_{(i)},U_{(j)}}(x_i,x_j)=(n)_2C_{n-2}^{i-1}C_{n-i-3}^{j-i-1}[F(x_i)]^{i-1}[F(x_j)-F(x_i)]^{j-i-1}[1-F(x_j)]^{n-j} \\ = \frac{n!}{(i-1)!(j-i-1)!(n-j)!}x_i^{i-1}(x_j-x_i)^{j-i-1}(1-x_j)^{n-j} \\ =\frac{\Gamma(n+1)}{\Gamma(i)\Gamma(j-i)\Gamma(n-j+1)} x_i^{i-1}(x_j-x_i)^{j-i-1}(1-x_i - (x_j-x_i))^{n-j}fU(i)?,U(j)??(xi?,xj?)=(n)2?Cn?2i?1?Cn?i?3j?i?1?[F(xi?)]i?1[F(xj?)?F(xi?)]j?i?1[1?F(xj?)]n?j=(i?1)!(j?i?1)!(n?j)!n!?xii?1?(xj??xi?)j?i?1(1?xj?)n?j=Γ(i)Γ(j?i)Γ(n?j+1)Γ(n+1)?xii?1?(xj??xi?)j?i?1(1?xi??(xj??xi?))n?j
記ui=xi,uj=xj?xiu_i=x_i,u_j=x_j-x_iui?=xi?,uj?=xj??xi?,
fU(i),U(j)(ui,uj)=Γ(n+1)Γ(i)Γ(j?i)Γ(n?j+1)uii?1ujj?i?1(1?ui?uj)n?jf_{U_{(i)},U_{(j)}}(u_i,u_j)=\frac{\Gamma(n+1)}{\Gamma(i)\Gamma(j-i)\Gamma(n-j+1)} u_i^{i-1}u_j^{j-i-1}(1-u_i-u_j)^{n-j}fU(i)?,U(j)??(ui?,uj?)=Γ(i)Γ(j?i)Γ(n?j+1)Γ(n+1)?uii?1?ujj?i?1?(1?ui??uj?)n?j
這個是二元的beta分布,可以記為beta(i,j?i,n?j+1)beta(i,j-i,n-j+1)beta(i,j?i,n?j+1)。
例2:Dirichlet分布
在上面的例子中,提到一個多元beta分布的東西,但它一般被稱為Dirichlet分布,其一般形式為
f(x∣α)=Γ(∑i=1nαi)∏i=1nΓ(αi)∏i=1nxiαi?1f(x|\alpha) = \frac{\Gamma(\sum_{i=1}^n \alpha_i)}{\prod_{i=1}^n \Gamma(\alpha_i)} \prod_{i=1}^n x_i^{\alpha_i-1}f(x∣α)=∏i=1n?Γ(αi?)Γ(∑i=1n?αi?)?i=1∏n?xiαi??1?
這個分布定義在n?1n-1n?1維(因為是n?1n-1n?1維的線性流形)的單純形Δn?1={x:∑i=1nxi=1,xi≥0}\Delta^{n-1}=\{x:\sum_{i=1}^n x_i=1,x_i \ge 0\}Δn?1={x:∑i=1n?xi?=1,xi?≥0}上,分布可以記為Dir(α1,?,αn)Dir(\alpha_1,\cdots,\alpha_n)Dir(α1?,?,αn?)。關于Dirichlet分布有幾個有趣的性質:
總結
以上是生活随笔為你收集整理的UA MATH564 概率论IV 次序统计量的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: UA MATH636 信息论5 信道编码
- 下一篇: UA MATH636 信息论6 微分熵