當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘

發布時間：2025/4/14 编程问答 19 豆豆

生活随笔收集整理的這篇文章主要介紹了 UA STAT687 线性模型II 最小二乘理论3 广义最小二乘小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UA STAT687 線性模型II 最小二乘理論3 廣義最小二乘

GLS
GLS的統計性質

GLS

這一講我們放松對隨機誤差的方差形式的假設，考慮模型
$y=Xβ+?,E?=0,Cov(?)=σ2Σ>0y=X\beta + \epsilon,E\epsilon=0,Cov(\epsilon)=\sigma^2\Sigma>0$

我們先假設 $Σ\Sigma$ 是一個已知的滿秩矩陣，在之后介紹最小二乘統一理論和可行估計的時候再討論 $Σ\Sigma$ 未知以及 $Σ\Sigma$ 不滿秩的情況。

定義 $y~=Σ?1/2y\tilde y = \Sigma^{-1/2}y$ ， $X~=Σ?1/2X\tilde X = \Sigma^{-1/2}X$ ， $u=Σ?1/2?u=\Sigma^{-1/2}\epsilon$ ，則
$y~=X~β+u,Eu=0,Cov(u)=σ2I\tilde y =\tilde X \beta+u,Eu=0,Cov(u)=\sigma^2I$

這就變成了普通最小二乘模型，記 $β?\beta^*$ 為廣義最小二乘解，
$β?=(X~′X~)?X~′y~=(X′Σ?1X)?X′Σ?1y\beta^*=(\tilde X'\tilde X)^{-}\tilde X'\tilde y=(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} y$

并且 $c′βc'\beta$ 的可估性與 $Σ\Sigma$ 無關，當 $\in C(X')$ 時， $c′βc'\beta$ 是可估函數；稱 $c′β?c'\beta^*$ 是 $c′βc'\beta$ 的廣義最小二乘估計（GLS），如果 $Σ\Sigma$ 是對角矩陣，就稱稱 $c′β?c'\beta^*$ 是 $c′βc'\beta$ 的加權最小二乘估計（WLS）。如果 $X$ 列滿秩，則 $β\beta$ 可估，稱 $β?\beta^*$ 是 $β\beta$ 的GLS估計。

GLS的統計性質

下面是GLS的幾條統計性質：

c′βc'\beta

是可估函數，則

c′β?c'\beta^*

是其唯一的BLUE，

Var(c′β?)=σ2c′(X′Σ?1X)?cVar(c'\beta^*)=\sigma^2c'(X'\Sigma^{-1}X)^{-}c

σ2\sigma^2

的無偏估計為

σ2?=e?′Σ?1e?n?r\sigma^{2*}=\frac{e^{*'}\Sigma^{-1}e^{*}}{n-r}

，其中

e?=y?Xβ?e^*=y-X\beta^*

?～N(0,σ2Σ)\epsilon \sim N(0,\sigma^2\Sigma)

，則

c′β?c'\beta^*

也是MLE；

c′β?c'\beta^*

與

σ2?\sigma^{2*}

互相獨立；

c′β?c'\beta^*

是可估函數

c′βc'\beta

唯一的UMVUE；

σ2?\sigma^{2*}

是

σ2\sigma^2

唯一的UMVUE。

我們簡單計算一下1和2，BLUE和3的證明非常標準化，可以參考MATH 571A系列與前兩篇博客。

第一條：

$Var(c′β?)=c′Var(β?)c=c′[σ2(X′Σ?1X)?X′Σ?1ΣΣ?1X(X′Σ?1X)?]c=σ2c′(X′Σ?1X)?cVar(c'\beta^*) = c'Var(\beta^*) c \\= c'[\sigma^2(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} \Sigma \Sigma^{-1}X(X'\Sigma^{-1} X)^{-}] c \\ = \sigma^2c'(X'\Sigma^{-1}X)^{-}c$

第二條：
$e?=y?Xβ?=MXye^*=y-X\beta^* = M_Xy$

其中 $M_X$ 是 $Σ\Sigma$ 定義的仿射坐標下到 $span(X)⊥span(X)^{\perp}$ 的投影矩陣， $MX=I?X(X′Σ?1X)?X′Σ?1M_X = I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1}$ ，
$Ee?=0,Var(e?)=σ2MXΣMXT=σ2(I?X(X′Σ?1X)?X′Σ?1)Σ(I′?Σ?1X(X′Σ?1X)?X′)=σ2[Σ?X(X′Σ?1X)?X′]=σ2MXΣEe^{*}=0,\ Var(e^*)=\sigma^2 M_X \Sigma M_X^T \\= \sigma^2 (I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1})\Sigma (I'-\Sigma^{-1}X(X'\Sigma^{-1} X)^{-}X') \\ =\sigma^2[ \Sigma-X(X'\Sigma^{-1} X)^{-}X' ]= \sigma^2 M_X \Sigma$

根據UA STAT687 線性模型II 最小二乘理論1 普通最小二乘法介紹的公式
$E(e?′Σ?1e?)=tr(σ2MX)=(n?r)σ2E(e^{*'}\Sigma^{-1} e^{*})=tr(\sigma^2 M_X)=(n-r)\sigma^2$

總結

以上是生活随笔為你收集整理的UA STAT687 线性模型II 最小二乘理论3 广义最小二乘的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： UA MATH567 高维统计I 概率不
下一篇：应用矩阵分析1 子空间分析1 线性子空间