?

一、極大似然法估計

??? 極大似然法估計是以觀測值出現的概率為最大作為估計準則的，它是一種覺的參數估計方法。

設是連續隨機變量，其分布密度為，含有個未知參數。把個獨立觀測值分別代入中的，則得

將所得的個函數相乘，得

??????????????(11-20)

稱函數為似然函數。當固定時，是的函數。極大似然法的實質就是求出使達到極大時的的估值。從式(11-20)可看到是觀測值的函數。

為了便于求出使達到極大的，對式(11-20)取對數，則

??????????????????????????????????(11-21)

由于對數函數是單調增加函數，因此當取極大值時，也同時取極大值，將上式分別對求偏導數，令偏導數等于零，可得下列方程組：

???????????????????????????????????????????? (11-22)

解上述方程組，可得使達到極大值的。按極大似然法確定的，使最有可能出現，并不需要的驗前知識，即不需要知道的概率分布密度和一、二階矩。

例11-1?設有正態分布隨機變量，給出個觀測值。觀測值相互獨立，試根據這個觀測值，確定分布密度中的各參數。

解??的分布密度可用下式表示：

式中的和為未知參數。現有極大似然法來確定參數和。作似然函數：

對上式取對數，可得

將上式分別對和求偏導數，令偏導數等于零，可得

聯立求解可得

上面介紹了極大似然法的基本概念。現在來討論極大似然法估計參數的問題。

設為維隨機變量，為維未知參數，假定已知的條件概率密度。現在得到組的觀測值。觀測值相互獨立。當參數是何值時，出現的可能性最大？為此，確定似然函數：

????????????????????(11-23)

或

?????????????????????????????????????(11-24)

求出使為極大的值，令

???????????????????????????????? (11-25)

解之，可得的估值。

取極大值的充分條件是

??

因此，用極大似然法時，應先求似然函數，然后用微分法求出使似然函數為極大的的估值。

設有一線性觀測系統

????????????????????????????????????????(11-26)

式中，是維觀測值，是維未知參數，是維測量誤差。設與獨立。給出的統計特性，求的極大似然估計。

下面求似然函數

根據不同隨機變量的概率密度變換公式，并考慮到與獨立，可得

令

得上式，可得的估值。

假定噪聲是正態分布，其均值為零，方差陣為，則

把代入上式，得

式中

求出，使為最大，也就是使

???????????????????????????????? (11-27)

求對的偏導數，令偏導數等于零，可得的估值

?

?????????????????????????????????????(11-28)

?

二、???????????極大驗后估計

如果給出維隨機變量的條件概率分布密度――也稱驗后概率密度，怎樣求的最優估值呢？極大驗后估計準則：使的驗后概率密度達到最大那個值為極大驗后估值。可見，極大驗后估計是已知求的最優估值的一種有效方法。

極大驗后估計是以已知為前提的。如果只知道，可按下式計算。

??????????????????????????????????? (11-29)

式中是的驗前概率密度，是觀測值的概率密度，可用計算方法或實驗方法求得。為了計算需要知道。在沒有驗前知識可供利用時，可假定在很大范圍內變化。在這種情況下，可把的驗前概率密度近似地看作方差陣趨于無限大的正態分布密度

式中為的方差陣，單位陣，，于是

???????????????????????????????????? (11-30)

當

?????????????????????????????????????????????(11-31)

當缺乏的驗前概率分布密度時，極大驗后估計與極大似然估計是等同的，現證明如下：

對于極大似然估計，為了求得的最優估值，應令

????????????????????????????????????????????(11-32)

對于極大驗后估計，為了求得的最優估值，應令

??????????????????????????????????????????? (11-33)

根據式(11-29)得

考慮到不是的函數，同時考慮到式(11-31)，可得

??????????????????????????????????????(11-34)

一般說來，極大似然估計比極大驗后估計應用普遍，這是由于計算似然函數比計算驗后概率密度較為簡單。