一、20世紀數理統計學發展概述

　　20世紀，特別是其上半葉，是數理統計學發展史上一個輝煌的時代。從現代數理統計學框架的建立到發展為一個成熟的學科，是在這個時期完成的。20世紀初，數理統計學面臨一個轉折點，意思是它必須有新的突破才能獲得進一步發展的契機。20世紀早期一批以費歇爾為首的統計學大師成功地應對了這個局面，創造了非凡的業績。按照國際上一些知名統計學家的看法，20世紀末數理統計學發展的態勢，與世紀初頗有相似的地方。人們在呼喚“21世紀的費歇爾”。當然，廣義地說，這也是每一位數理統計工作者所肩負的任務。中國作為一個世界大國，年輕一代的數理統計學者應該也有條件在這方面作出自己的貢獻。

　　為了更清楚闡述上文的意思，需要對數理統計學的歷史作一個簡短的回顧。按目前數理統計學界公認的看法，數理統計學是“收集和分析帶隨機性的數據的科學和藝術”。以筆者的看法，這個內涵規定了它是一個中立性的工具。“中立”的意思是指這門學科不帶任何社會的、政治的或意識形態上的傾向性，因而也不存在它自成學派或從屬于何學派的問題。有一種看法認為社會經濟統計學與數理統計學是“大統計學”中的兩個對立的學派。筆者認為這種看法值得商榷。的確，在社會經濟統計學中該不該使用數理統計方法，在哪些問題上或者在何種程度上應否使用數理統計方法，是可能存在不同意見的。如果說由于對這些問題的看法不同而有學派存在，那還算言之成理。但這些問題與數理統計學無關：數理統計學只是一種工具，誰如覺得這個工具對他有用，就可以使用它——當然在使用中必須遵守這門學科的規范，否則就可能產生誤導公眾及提供錯誤的決策依據的后果。歷史上（部分地直到如今）數理統計方法曾遭到一些批評和懷疑，一定程度上與上述情況有關。

　　數理統計學起源于何時？這是一個無法也不必做出定論的問題。有的學者把英國學者格朗特的著作《關于死亡公報的自然和政治觀察》發表的年份1662年定為這門學科的誕生之日，恐怕也只能算是一家之見。實際情況是，可以說直到20世紀初，并不存在一門統一的數理統計學科，而中是在各實用領域中的學者因工作上的需要而分頭發展了一些分析數據的方法，即統計方法。最主要的有3 個方面：一是天文和測地學中因誤差分析問題而導致最小二乘法和正態誤差的發明。起初，人們認為“誤差分析”與“統計分析”是根本不同的兩回事：前者的數據是對一個對象多次測量所得；后者的數據則是對多個對象各測量一次所得。按現今的數理統計學框架，我們容易認識這是一回事，但在當時則不然。到19世紀中、后期，經過凱特勒、蓋爾頓等在社會學和生物學方面的實際工作，以及埃其渥斯、卡爾?皮爾遜等的數學理論工作，終于把二者統一起來，并在20世紀得到發揚光大。直到如今，線性模型——最小二乘法——正態誤差這個體系下所發展的方法，在相當大的程度上仍占據了應用統計方法中的主導地位。所以有人說，天文學是數理統計學的母親。
　　第二個方面是人口學。前文提到的格朗特的著作是一個重要例子。這個方向發展了離散數據統計，即以二項分布和波哇松分布為代表的統計方法。另一個重要之點是它在19世紀即開始孕育了抽樣調查的思想。這也在20世紀得到發揚光大，成為現今統計方法中的重要組成部分。有的統計史學家評說：19世紀的統計就是頻率分析。那是因為，當時處理誤差分析的一套工具尚未被視為屬于統計方法的范疇。

　　最后一個方面是生物學，特別是遺傳學。英國學者蓋爾頓在1874年到1890年間到工作，引進了相關和回歸的思想。其重大意義在于它開創了分析多維數據的統計方法。此前的統計方法都是單指標性的，不能顧及指標間的相互關系。而在實用問題中一般涉及多個彼此相依的指標，孤立地分析單個指標無法得出符合實際的結論。蓋爾頓的工作經過埃其渥斯、卡爾?皮爾遜和約爾在數學上的整理，到20世紀又經過費歇爾等一批學者的深化，直到目前仍不失為應用統計方法中的重鎮和理論統計學中的主流方向之一。
　　有人把上面粗略描述的，大體上到19世紀末為止的統計學的發展圖景作了一個小結，歸納為以下3點：（1）統計方法是基于實用的需要，在不同領域中分頭發展的。（2 ）沒有專職的（以統計學為主業的）統計學家。對統計方法作出重大貢獻的人，其主要身份是某個其他領域的學者，這在公認是現代數理統計學的奠基者費歇爾和卡爾?皮爾遜身上還可以看出來。（3）統計學沒有一個嚴整的學科框架。 費歇爾傳記的作者J.F.Box在談到20世紀初期統計學狀況時曾提到， 當時在人們的意識上連參數與統計量都沒有嚴格區分開。有的學者提到，當時在統計方法的工具袋里已有了一些積累，包括最小二乘法（平均值可視為其特例）、方差、頻率、二項分布、誤差理論和正態分布、相關回歸、矩估計、皮爾遜曲線族以及稍后的Student t分布等。 但它們是一些不連貫的片段，缺乏一個完整體系。

　　所以，在20世紀初年，擺在數理統計學面前的重大問題是建立一個理論（數學）上的框架。它不僅能包容已有的成果，而且還要對未來努力的方向起指引的作用。如大家所知道的，這個任務由以費歇爾為代表的一班統計學大師出色地完成了。這些統計學大師中除費歇爾外，還可以算上愛根?皮爾遜、奈曼及較晚的瓦爾德。至于卡爾?皮爾遜，有一種看法認為它是“舊統計”的押陣大將。但平心而論，他的工作，尤其是1900年發表的關于擬合優度檢驗的論文，對“新統計”的誕生有著不可低估的影響具有劃時代的意義。至于費歇爾，其貢獻更是全方位的：在理論方面，他分別于1921年和1925年發表的論文《理論統計學的數學基礎》和《點估計理論》，奠定了統計學的大體上沿用至今數學框架；在方法的層面，他提出的似然估計、試驗設計與方差分析以及一大批小樣本抽樣分布的結果，迄今仍有著重大的影響。其業績在20世紀統計界確實無人可比。所以美國統計學家埃夫龍在1996年一篇論文中把他比作“統計學的凱撒”。

　　前文提到，臨近20世紀末，數理統計學發展的態勢，頗有與世紀初相似之處。這一點要聯系到20世紀下半葉數理計學的發展狀況來討論。

　　1940年，以克拉美的《統計學的數學方法》一書的出版為標志，數理統計學被公認為已形成一門嚴整的數學學科——應當注意的是：這一點固然與費歇爾等人為統計學制定了合適的數學框架有關，更本質的原因在于統計學中的“數據”已超脫了其實際含義：一組數據如假定來自正態總體，則與此有關的方法（如t區間估計、F檢驗等）都可以使用，而無須顧及數據從何而來。正如數學中人們說1＋2＝3， 而不必顧及這1、2、3是什么一樣。

　　數理統計學一經數學化，就有其自身的發展規律，一般認為，一個數學分支中新問題的來源，有“外生”和“內生”兩種。前者是因外部的需要，一般是實際應用中的需要所提出的問題，而后者則是由學科的“自我擴張”引起的問題，不必有其實際背景。如前所說，在較早的時期（約在20世紀30年代或放寬一些到50年代），數理統計學與實用緊密結合，所研究的問題以“外生”性的為主。此后，情況有了很大變化：相當大部分的統計學理論研究轉向“內生”性的問題，以“在預設的模型下尋求符合某種準則的最優解“及“大樣本理論”兩個方向為代表。應當指出的是：并非說沿著這此方向所作的工作全無實際意義。有些工作（主要在較早時期）是以往比較粗糙的結果的完善。例如有關極大似然估計的漸近性質，費歇爾在1925年關于點估計的論文中就有初步的討論。到五、六十年代，在數學上得到更完滿的發展。這類工作兼有理論和實用兩方面的意義。有的在優化理論框架下得出的結果，如算術平均值或更一般地最小二乘估計在種種條件下的優良性質的結果，雖則對應用統計方法無所增添，但深化了我們對這些重要方法性質的了解，也是很有意義的。至于大樣本理論，其大量的繁瑣結果可說已趨于末流——既無理論上的數學美，又對分析數據不起什么作用。但也不可否認，其中也頗有些富有實際意義的結果，特別是非參數統計有關的一些大樣本結果，為在免除正態假定下進行數據分析提供了可用的替代方法。

　　雖然可舉出以上這些有利情況，但不能不承認，從總體上說，由這些“內生”問題產生的結果，多數是與數據分析沒多大關系，從純數學的角度看也缺乏深度。這種情況引起了不少統計學家的憂慮和反思，以至有所謂“統計學危機”的呼聲。

　　以上的簡略描述表明，數理統計學在20世紀下半葉，理論上缺乏有意義的、突破性的進展。實用的或方法層面上的情況如何？應該說有不小的成績。其中一部分得力于功能強大的計算機，它使一些需要大規模計算的方法能付諸實用，從而大大拓展了統計方法的應用面。在方法本身的研究上也有不少進展。不久前出版的一本論述“統計學中的突破”的著作，列舉了到1980年為止統計學方面的40項“突破”，就其內容看（如赤池弘次的AIC準則， 維爾考克森的秩和檢驗之類）大都是局部范圍內的方法性的成果，并非有全局意義的“突破”。統計學家休伯1997年在北京的一次講演，認為近幾十年來數理統計學只有3 項值得一提的重要成果：其一是他自己發展的穩健統計（這概念可追溯到費歇爾在1920年的一項關于比較絕對平均差和標準差的優劣的工作），另有埃夫龍在1979年提出的“自助法”（bootstrap）和生存分析。 若情況果真如此，則20世紀下半葉統計學的成績可說是很暗淡了。依筆者所見，情況要樂觀一些，比如回歸分析和多元分析中諸多的理論和方法進展、模型選擇、試驗設計、生存分析、貝葉斯統計等方面，都頗有一些富有實用意義的成果。

　　但不容否認的是，20世紀下半葉數理統計學方面的成就，主要限于若干局部性的、具體問題的方法性的層面上，全局性的、涉及根本的統計思想的成果，絕無僅有，拿一句人文科學講座中常提到的套話來形容，可說是“學問家凸顯，思想家淡出”。

　　以上種種情況使不少統計學家認為，統計學又面臨一個新的突破的形勢，或者也可以說，到了一個需要變革的時期，這與20世紀初的情況有其相似之處。

二、數理統計學未來的發展

　　這種突破會指向何方？要采取怎樣的措施以有利于促成這種突破或變革？自20世紀60年代以來，不少學者，通過在有關會議上發表講演或在刊物上發表論文，表達了各自的看法。有些看法有很大的一致性，例如主張統計學要回到以前那種重視聯系實際的傳統；主張“推倒圍墻”，即重視與其他學科的交流和滲透；主張在統計教育上實行與此相應的變革等。在預測未來發展的主流上，則多有分歧。下面對一些較有影響的觀點擇要介紹一下。

　　1.數據分析。美國資深統計學家圖基在1962年發表了一篇題為《數據分析的未來》的長文，大約“數據分析”一詞即起源于此文。這是第一次由一個極有影響的統計學家對當時的數理統計學發展狀況作出反思并提出一種變革的方向，因此有重要的意義。直到今天，該文所表述的觀點還經常得到統計學家們的征引。

　　此文主要的精神是對當時統計界流行的以模型為出發點的做法提出反思，主張讓數據多起作用。模型應當從分析數據中產生而不應讓數據去曲合預設的模型。為此他主張對現行統計學的根基“用概率刻畫統計推斷的不確定性”作出松動——概率只是作為一種工具而非基礎，適合使用時則用，不合用時就不用。提出這一主張與打破“以模型為出發點”或“預設模型”有關：沒有一個充分簡化的模型，就無法對統計推斷的概率性質作深入探討，以致一些“為發表文章而作研究”的工作不能不預設模型。除此以外圖基還提出了一些原則性的主張。如果研究有現實意義的新問題，在更現實的條件下研究老問題，把統計學定位為一門科學而非數學——這意味著實用性優先于推理的嚴格性等等。圖基及其支持者以后在一些文章和專著中進行一步闡發了他們的主張。所有這些人們現在將其歸在尚未成形的“數據分析”的名目下。

　　筆者認為，雖然目前講圖基的主張在統計學界的支持率還不能算是很高，但由于以下兩個情況，在未來可能發展為一個很有影響的思潮，并在相當程度上改變現行統計學的面貌。一是功能強大的計算機的廣泛使用；二是在各個領域里不斷提出的帶有復雜結構數據的問題，如高維模擬仿真、模式識別、圖像和信號處理、人工智能、神經網絡、數據采掘（data mining）等。由于數據的隨機性， 這類問題在一定程度上和統計學有關，又因其復雜性使概率方法難于充分有效地使用，因此可能需要某種“折衷”的辦法：既考慮到數據的大量性和復雜性而不能拘泥于一定的概率模式，又能使因數據的隨機性而產生結論的不確定性有著某種科學的評價標準。也許這是一個使現行統計學產生“突破”的地方？

　　2.“邊緣學科”。如前所說，在19世紀末之前，統計學尚未成為一個今天意義下的獨立學科，其發展是為應付現實的需要，結合其他學科來進行的。近若干年來，這個發展模式受到一些有影響的統計學家的推崇，認為有可能是將來的主流模式。統計學家休伯1997年在北京的一次講演中，把統計學發展的歷程畫成一條螺旋線而非直線，意謂其發展不是直線式的，而是可能具有某種“回歸”的性質或我們常說的“螺旋式進展”——當然是在提高的基礎上回歸而非簡單重復。他還發表了一個“盛世危言”式的見解：如果統計學家的研究成果脫離實際應用的狀況得不到改變，則這種形式的統計學將走向消亡，我們將像以往那樣回到各個學科去發展適用的統計方法。這類方法不必具有通用的性質（比如像回歸分析、方差分析這類統計方法，都具有很廣的通用性）。

　　他描述的這種圖景眼下大概還不會成為現實——相信“通用的”統計方法仍有很大的發展余地，數理統計學作為一門獨立學科的地位還沒有動搖的跡象，但其思想則頗有可取之處。“通用方法”的發展也不可能是純數學思維、閉門造車式的。如蓋爾頓——皮爾遜發明的相關回歸、費歇爾發明的方差分析這類“通用”方法，是結合像遺傳學和農業試驗的需要而得到。一位有名的華人生物統計學家曾指出搞統計必須結合一個area，也是這個意思。另一位美籍華人學者李景均（C.C.Li）教授因研究群體遺傳學的需要而發明被稱為“路徑分析”（path ananlysis）的統計方法，曾應某刊物之約發表長達80余頁的專題論文，成為該領域國際公認的權威。其方法不止適用于遺傳學。他并不以數學見長，如果投身到統計學的純理論研究，也許不一定能做出達到這個水平的成就。總之，歷史和現實都證明了：統計學和其他學科結合發展是一個正確的方向，也極可能成為未來發展的主流之一。

　　3.貝葉斯統計。頻率學派和貝葉斯學派的對立是20世紀數理統計學發展中一道亮麗的風景線。臨到世紀末，早期那種情緒性的對立局面似乎已逐漸消退。原因之一是早期那些大師都已去世或淡出舞臺，后繼者不一定那么執著于“純哲學”式的爭論。也因為經過幾十年的實踐，統計學界大體上有了一種共識：至少在參數統計的范圍內，這兩個學派所達致的結論，所提供的方法基本相似。另外在局部范圍而言，兩派的方法也確實各有短長。

　　英國老牌的貝葉斯派統計學家在近年的一次訪談中預言，21世紀將是貝葉斯統計一統天下的局面。在另一個場合中他把時間具體化到2020年。這后一點看來不像會成為現實。但近年來統計刊物上發表的一些學者的見解，確給筆者這樣一個印象，即貝葉斯學派正在取得上風。這有多方面的原因，不在此細論。其中一個因素可能是：在對20世紀統計學的狀況進行反思時，幾乎所有的負面因素都與頻率學派有牽涉，如過分的數學化而形成“兩張皮”的現象。其中尤以將統計問題歸結為最優化數學問題的見解倍受非議，有人譏之為“錯誤問題的正確解答”。

　　如果貝葉斯統計真成為主流，在未來世紀它的主攻方向如何？有的學者也對此發表了見解。

　　如所周知，貝葉斯學派有“主觀”和“客觀”兩個系統。主觀貝葉斯學派認為先驗分布的選擇純是使用者個人的事，不可能也不應該去尋求某種公認的、“客觀”的選擇。進一步的引伸是統計推斷純粹是主觀行為，不可能用一種科學標準去規范它。學者們認為，這一學派會有其存在余地。它主要適用于經濟決策中。在這種問題中，決策主體的條件和掌握信息資源的不同當然會影響其做出的決策，不可能是統一的標準。但是在科學研究（以尋求客觀真理為目標）性質的問題中，或一般地說，在主觀因素影響較少的問題中，這種思維模式恐難于為人們所接受。

　　客觀貝葉斯學派主張的核心在于給先驗分布的選定制定一種大家都遵守的“客觀”規則，而不由人隨意地主觀選定。這里所謂“客觀”，不應理解為在頻率意義下與實際情況符合——即同類問題大量出現而按參數值的頻率去確定先驗分布（果真有這個情況，問題可納入頻率學派的體系下）。因為在絕大多數情況下，問題是一次性的，不存在按這種方式決定先驗分布的可能。因此，真正的貝葉斯派所持的立場是：先驗分布的選取純粹因為它是統計推斷工作得以完成的一個必須的成分，不存在它與現實符合與否的“客觀性”問題。

　　客觀貝葉斯學派源起于貝葉斯本人，后曾被拉普拉斯廣泛使用，所以也有人把它稱為拉普拉斯學派（相應地，主觀貝葉斯學派有時被稱為芬內迪—賽瓦奇學派）。其時公認的先驗分布是根據“同等無知”原則而確定的均勻分布。后來的學者用稍廣一些的“無信息先驗分布”來取代它。費歇爾早就指出過這樣確定先驗分布的一個問題，即隨著參數取法的不同會導致不同的先驗分布。針對這一點杰弗里斯引進了一種選擇先驗分布的方法，可以避免這個困難，但仍不是能很令人滿意。例如對二項分布B（n，θ）的參數θ（0≤θ≤1），按“同等無知”原則取先驗密度p（θ）＝1，而按杰弗里斯的方法則應為p（θ）＝（θ（1－θ））[-1/2]。從實用的角度看，這個選擇似乎不比p （θ）＝1更有吸引力。

　　有些學者認為，21世紀統計學的一個動向是“頻率學派與客觀貝葉斯學派的合流”。而在這個進程中，有兩個問題是主要的：一是研究更合理的制定先驗分布的準則。這里“合理”的含義恐怕主要不是某種抽象的理論標準，而是看在這個體制下所作出的統計推斷的合理性即在應用上的有效性。在此，已有的大批“經過考驗的”成果會成為一個重要的參照標準。（另一個問題是在非參數模型之下，亦即在函數空間中如何確定先驗分布。早在20世紀70年代有人作過嘗試，引進狄利希萊分布去定義非參數先驗分布，后來也沒有值得注意的進一步發展。這個問題無疑是一個富有挑戰性的困難問題。

　　從廣義的意義說，費歇爾在1930年提出的“信任推斷”可納入貝葉斯學派的體系內。費歇爾一貫不贊成先驗分布的提法，但卻接受了貝葉斯學派的核心思想——由樣本產生一個關于參數的分布，這在貝葉斯學派中稱為后驗分布。費歇爾提出“信任推斷”的客觀效果等同于一種不要先驗分布的貝葉斯統計。由于一些內在的困難，幾十年以來沿著這個方向沒有取得多少進展，不少統計學家把費歇爾的主張看作他諸多成就之下的一個引人注目的失敗。不過仍有少數學者，如費雷塞，堅持在這個領域工作。最近關于這個問題的興趣有復活的趨勢。有人甚至預言，費歇爾在20世紀提出的這個倍受冷落的概念，很可能在21世紀開花結果。

　　以上所論的是一些屬于大的趨勢方面的問題。至于更具體領域中可能的進展，也有學者討論。如模型選擇，基于似然函數和條件推斷的結構；離散和非線性多元分析；不完全數據分析；（廣義的）經驗貝葉斯方法；定性、不回答和缺落數據的處理等。因篇幅關系均不一一細論。筆者總的看法是：雖則20世紀末統計學發展的態勢確有某種與世紀初相似的地方，但仍有著根本的不同。這種不同表現在世紀初時數理統計學的學科框架尚未建立，而目前已在相對成熟階段上走了相當一段距離。局部性的重要成就時有發生，而全局性的甚至根本改變本學科面貌的那種突破，在可預見的將來不大可能發生：“21世紀的費歇爾”產生的時機還未到來。

　　
　　
　　

總結

以上是生活随笔為你收集整理的数理统计学：世纪末的回顾与展望（陈希孺）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。