按照直觀的理解，在給定一系列樣本值的時候，計算樣本均值和樣本方差所除以的應(yīng)該是樣本數(shù)$n$，而事實上我們計算樣本均值的時候是除以$n$，計算樣本方差的時候是除以$n?1$. 這個反直覺的計算公式曾一度令我困惑不已，好在接觸到數(shù)理統(tǒng)計課程，終于使我醍醐灌頂. 于是我結(jié)合[1, 2, 3]的相關(guān)部分，以初學(xué)者的角度學(xué)習(xí)并總結(jié)成此文，希望能為有類似困惑的同學(xué)提供參考. 因本人水平有限，文章難免有不足之處，煩請讀者指出，聯(lián)系方式：penguinpi@163.com.

目錄

• • 樣本均值與樣本方差
  • 估計量的無偏性
  • 自由度的一種解釋
  • 總結(jié)
  • 參考文獻

樣本均值與樣本方差

對于給定的若干個樣本$X_1,X_2,?,X_n$，假設(shè)它們是獨立同分布的，且對于每個$X_i(i=1,2,?,n)$，其均值為$\mu$，方差為${\sigma }^2$. 當我們不確定$\mu$和${\sigma }^2$的具體值的時候，我們希望通過這$n$個樣本來計算樣本均值$M_n$和樣本方差$S_n^2$，并盡可能地逼近真實值. 根據(jù)均值和方差的概念，直觀上我們會這樣計算樣本均值和樣本方差：
$$\begin{gathered} M_n=\frac{X_1+X_2+?+X_n}{n}, \\ {S}_n^2=\frac{{\sum }_{i=1}^n{\left(X_i?M_n\right)}^2}{n}. \end{gathered}$$
然而，與直覺相違背的是，把樣本方差定義為$S_n^2$并不是最佳方案，更優(yōu)的樣本方差定義應(yīng)該是將分母的$n$改為$n?1$，這里我們記作${\hat{S}}_n^2$，即
$${\hat{S}}_n^2=\frac{{\sum }_{i=1}^n{\left(X_i?M_n\right)}^2}{n?1},$$
我的困惑正是從這個$n?1$開始. 好在我們可以從理論上討論$S_n^2$和${\hat{S}}_n^2$分別回歸到什么值，由此分析修改前后帶來的影響，從而理解為什么作此修改. 換句話說，我們可以對兩種不同方式定義的樣本方差求期望，以檢驗到底哪一個更加合適. 不妨先看看直觀定義的樣本方差的期望
$$\begin{array}{rl}E[S_n^2]& =E\left[\frac{{\sum }_{i=1}^n(X_i?M_n{)}^2}{n}\right]\\ & =\frac{E\left[{\sum }_{i=1}^n(X_i?M_n{)}^2\right]}{n}\\ & =\frac{E\left[{\sum }_{i=1}^n(X_i^2?2X_i{M}_n+M_n^2)\right]}{n}\\ & =\frac{E\left[{\sum }_{i=1}^n{X}_i^2?2n{M}_n^2+n{M}_n^2\right]}{n}\\ & =\frac{{\sum }_{i=1}^{n}E[X_i^2]?nE[M_n^2]}{n}\\ & =\frac{nE[X_i^2]?nE[M_n^2]}{n}\\ & =E[X_i^2]?E[M_n^2],\end{array}$$
根據(jù)隨機變量的方差與矩的關(guān)系，有
$$var(X)=E[X^2]?(E[X]{)}^2,$$
且樣本均值$M_n$滿足
$$\begin{gathered} E[M_n]=E\left[\frac{X_1+X_2+?+X_n}{n}\right]=\frac{E[X_1]+E[X_2]+?+E[X_n]}{n}=\frac{n\mu }{n}=\mu , \\ var(M_n)=var\left(\frac{X_1+X_2+?+X_n}{n}\right)=\frac{var(X_1)+var(X_2)+?+var(X_n)}{n^2}=\frac{n{\sigma }^2}{n^2}=\frac{{\sigma }^2}{n}, \end{gathered}$$
所以
$$\begin{array}{rl}E[S_n^2]& =\left(var(X_i)+{\left(E[X_i]\right)}^2\right)?\left(var(M_n)+{\left(E[M_n]\right)}^2\right)\\ & =\left({\sigma }^2+{\mu }^2\right)?\left(\frac{{\sigma }^2}{n}+{\mu }^2\right)\\ & =\frac{n?1}{n}{\sigma }^2.\end{array}$$
果然，按照我們直覺定義出來的樣本方差$S_n^2$是不會回歸到真實方差${\sigma }^2$的，其存在一定的偏差，盡管在樣本數(shù)$n$非常大的時候能忽略這個偏差. 不過我們很容易就可以避免這個理論上的偏差，只需要在上式兩邊同乘系數(shù)$n/(n?1)$，等式的右邊僅有${\sigma }^2$，等式左邊正是修改后的樣本方差${\hat{S}}_n^2$.

與其說是計算公式，不如說是在直覺的基礎(chǔ)上，根據(jù)理論推敲稍作修改得到的定義. 事實上，數(shù)學(xué)的定義并非天然形成，而是經(jīng)過反復(fù)的推敲和修改，才得以成形.

估計量的無偏性

若我們進一步思考，所謂樣本均值$M_n$，不過是將一系列的隨機變量$X_1,X_2,?,X_n$經(jīng)過簡單的加和求平均得到的，即從一些已知的隨機變量通過一個映射得到的一個新的隨機變量，我們將這個新的隨機變量稱作估計量，如果其具有統(tǒng)計意義，也稱作統(tǒng)計量. 對于估計量，我們當然希望它越準確越好，也就是希望估計量能回歸真實值，此時我們稱這樣的估計量是無偏的. 下面以$M_n$簡單介紹估計量的相關(guān)術(shù)語[1].

• 估計量的期望值依賴于真實的參數(shù)，即$E[M_n]$（也記作$E_{\mu }[M_n]$）依賴于真實的$\mu$.
• 若$E_{\mu }[M_n]=\mu$對于$\mu$所有可能的取值都成立，則稱$M_n$無偏.
• 若${\lim }_{n\to \infty }{E}_{\mu }[M_n]=\mu$對于$\mu$所有可能的取值都成立，則稱$M_n$漸近無偏.

顯然，$M_n$是無偏的，而直覺定義的$S_n^2$是漸進無偏的，經(jīng)修改后的${\hat{S}}_n^2$是無偏的. 無偏并不意味著估計量在任何時候都能給出正確無誤的估計，而是在大量次數(shù)使用該估計量并取平均時，能以十足的把握無限逼近被估計的量. 如果沒有無偏性，則無論使用多少次該估計量，其平均也會與真實值保持一定距離——這個距離就是系統(tǒng)誤差[2]. 由此可見將${\hat{S}}_n^2$定義為樣本方差是多么明智的選擇.

自由度的一種解釋

通過前兩節(jié)的討論，我們對分母$n?1$的來龍去脈已經(jīng)非常清楚了，但這究竟是巧合還是具有一定規(guī)律的呢？或許牽扯到自由度的概念，茆詩松老先生等人在書[3]中對自由度的概念最初是這么引入的

${\chi }^2(n)$分布中的參數(shù)$n$就體現(xiàn)在：$n$是獨立的標準正態(tài)變量的個數(shù)，因此人們稱這個參數(shù)$n$為自由度.

而陳希孺老先生在書[2]中證明${\hat{S}}_n^2$的無偏性之后這樣解釋道

在這里我們還可以對“自由度”這個概念賦予另一種解釋：一共有$n$個樣本，有$n$個自由度. 用$S^2$估計方差${\sigma }^2$，自由度本應(yīng)為$n$. 但總體均值$\mu$也未知，用$M_n$去估計，用掉了一個自由度，故只剩下$n?1$個自由度.

乍一看是比較抽象的，不妨再回顧我們是如何計算樣本均值和樣本方差的
$$?\begin{array}{rl}{M}_n& =\frac{X_1+X_2+?+X_n}{n}\\ {\hat{S}}_n^2& =\frac{{\sum }_{i=1}^n(X_i?M_n{)}^2}{n?1}\end{array},$$
就像解方程組一樣，我們先用一系列的樣本“定住”了$M_n$才得以計算$S_n^2$，而換個角度看，這一系列的樣本$X_i(i=1,2,?,n)$也同樣被$M_n$給限制住了. 也就是在已知$M_n$和$n?1$個樣本值的情況下，剩余的$1$個樣本值已經(jīng)被確定了. 由此自由度衰減為$n?1$.

那么是不是當我們已知具體的$\mu$，就不必用這些樣本估計$M_n$，進而不必用$M_n$計算$S_n^2$，最終不會丟掉這個自由度，即可以用$S_n^2$作為真實方差${\sigma }^2$的無偏估計量呢？答案是肯定的，如下
$$\begin{array}{rl}E[S_n^2]& =E\left[\frac{{\sum }_{i=1}^n(X_i?\mu {)}^2}{n}\right]\\ & =\frac{E\left[{\sum }_{i=1}^n(X_i^2?2X_i\mu +{\mu }^2)\right]}{n}\\ & =\frac{E\left[{\sum }_{i=1}^n{X}_i^2?2n{M}_n\mu +n{\mu }^2\right]}{n}\\ & =\frac{{\sum }_{i=1}^{n}E[X_i^2]?2n\mu E[M_n]+n{\mu }^2}{n}\\ & =\frac{n\left(var(X_i)+{\left(E[X_i]\right)}^2\right)?2n{\mu }^2+n{\mu }^2}{n}\\ & =\frac{n{\sigma }^2+n{\mu }^2?2n{\mu }^2+n{\mu }^2}{n}\\ & ={\sigma }^2.\end{array}$$

故此時$S_n^2$是一個無偏估計. 通過對自由度的理解，我們能夠建立更好的數(shù)學(xué)直覺，判斷出何時為$n?1$，何時為$n$，甚至$n+1$. 盡管嚴謹?shù)淖C明不能只依賴于數(shù)學(xué)直覺，但對我們學(xué)習(xí)更多的估計量（統(tǒng)計量）以及推斷它們的性質(zhì)是大有脾益的.

總結(jié)

我們從樣本均值和樣本方差的計算公式為切入點，探究其為何會如此定義，之后更一般地介紹了估計量與無偏性，明確樣本方差定義之優(yōu)是因為修改后的樣本均值是無偏的估計量，最后從自由度的角度再次思考分母$n?1$的含義，有助于培養(yǎng)我們的數(shù)學(xué)直覺，更好地通過自由度理解其他復(fù)雜估計量（統(tǒng)計量）的系數(shù).

參考文獻

[1] [美]伯特瑟卡斯（Bertsekas, D. P.）, [美]齊齊克利斯（Tsitsiklis, J. N.）. 概率導(dǎo)論[M]. 鄭忠國, 童行偉譯. 北京：人民郵電出版社, 2016.
[2] 陳希孺. 概率論與數(shù)理統(tǒng)計[M]. 合肥：中國科學(xué)技術(shù)大學(xué)出版社, 2009.
[3] 茆詩松, 程依明, 濮曉龍. 概率論與數(shù)理統(tǒng)計[M]. 北京：高等教育出版社, 2019.

總結(jié)

以上是生活随笔為你收集整理的【浅谈】样本方差的分母“n”为什么要改为“n-1”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。