當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

5.4 加权最小二乘法

發布時間：2023/12/20 编程问答 22 豆豆

生活随笔收集整理的這篇文章主要介紹了 5.4 加权最小二乘法小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

5.4 加權最小二乘法

最小二乘法是使 $∑i(bi?ariTx)2\sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2$ 最小，這表明每次測量的重要性一樣，但實際中有時存在某些測量更重要，某些更不重要。以第一個例子為例說明，假設測量直徑，用了兩個精度不同的設備各測一次，分別為 $d_h,d_l$ ，設備的測量精度即方差分別為 $σh2,σl2\sigma^2_h,\sigma^2_l$ ，設備精度越高方差越小。如何綜合這兩個測量結果來獲得比僅用高精度設備更好的結果？如果設備精度相同，則結果為 $D=(d_h+d_l)/2$ ，即這兩個測量權重相同。如果精度不同，則顯然精度高的權重要大，權重要與精度成正比，所以測量結果應該為 $\frac {\sigma^2_l} {\sigma^2_h+\sigma^2_l}d_h + \frac {\sigma^2_h} {\sigma^2_h+\sigma^2_l}d_l$ ，該估計值方差為 $σ2(D)=(σl2σh2+σl2)2σh2+(σh2σh2+σl2)2σl2=σh2σl2σh2+σl2\sigma^2(D)=(\frac {\sigma^2_l} {\sigma^2_h+\sigma^2_l})^2\sigma^2_h + (\frac {\sigma^2_h} {\sigma^2_h+\sigma^2_l})^2\sigma^2_l=\frac {\sigma^2_h\sigma^2_l}{\sigma^2_h+\sigma^2_l}$ ，此值小于 $σh2\sigma^2_h$ ，這說明估計值的精度高于 $d_h$ 。

假設每次測量精度不同，方差為 $σi2\sigma^2_i$ ，則此時應該使 $∑i1σi2(bi?ariTx)2\sum_i \frac {1}{\sigma^2_i} (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2$ 最小，即精度高的測量權重要大。根據前面結果知 $∑i(bi?ariTx)2=(b?Ax)T(b?Ax)\sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2=(\mathbf{b}-Ax)^T(\mathbf{b}-A\mathbf{x})$ 即向量 $b?Ax\mathbf{b}-A\mathbf{x}$ 的內積，也就是向量 $b\mathbf{b}$ 到子空間 $c o l A$ 的距離平方。現在要求加權距離平方的最小值，加權距離平方可以通過矩陣獲得！令對角陣為： $=diag(\frac{1}{\sigma^2_1},\frac{1}{\sigma^2_2},\cdots,\frac{1}{\sigma^2_n})$ ， $=diag(\frac{1}{\sigma_1},\frac{1}{\sigma_2},\cdots,\frac{1}{\sigma_n})$ ，則 $D=F^TF$

$∑i1σi2(bi?ariTx)2=(b?Ax)TD(b?Ax)=(b?Ax)TFTF(b?Ax)=(Fb?(FA)x)T(Fb?(FA)x)\sum_i \frac {1}{\sigma^2_i} (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2=\\ (\mathbf{b}-A\mathbf{x})^TD(\mathbf{b}-A\mathbf{x})=\\ (\mathbf{b}-A\mathbf{x})^TF^TF(\mathbf{b}-A\mathbf{x})=\\ (F\mathbf{b}-(FA)\mathbf{x})^T(F\mathbf{b}-(FA)\mathbf{x})$

令 $b′=Fb\mathbf{b'}=F\mathbf{b}$ ， $A^{'} = F A$ ，則上式為 $(b′?A′x)T(b′?A′x)(\mathbf{b'}-A'\mathbf{x})^T(\mathbf{b'}-A'\mathbf{x})$ ，要最小，則近似解為

$x^=(A′TA′)?1A′Tb′=((FA)TFA)?1(FA)TFb=(ATFTFA)?1ATFTFb=(ATDA)?1ATDb\mathbf{\hat{x}} = (A'^TA')^{-1}A'^T\mathbf{b'}=\\ ((FA)^TFA)^{-1}(FA)^TF\mathbf{b}=\\ (A^TF^TFA)^{-1}A^TF^TF\mathbf{b}=\\ (A^TDA)^{-1}A^TD\mathbf{b}$

這就是加權最小二乘法的解！

我們還可以進行推廣，上式是 $(b?Ax)TD(b?Ax)(\mathbf{b}-A\mathbf{x})^TD(\mathbf{b}-A\mathbf{x})$ 最小解，其中 $D$ 是對角陣，其實對稱陣 $S$ 也可以。只要對稱陣滿足對任意非零向量 $x\mathbf{x}$ ，有 $xTSx>0\mathbf{x}^TS\mathbf{x} > 0$ 成立， $xTSx\mathbf{x}^TS\mathbf{x}$ 稱為廣義距離，即保證廣義距離非負，此時對稱陣 $S$ 稱為正定矩陣。

定義正定矩陣對稱陣 $S$ 對應的廣義距離 $xTSx\mathbf{x}^TS\mathbf{x}$ 非負，稱對稱陣為正定矩陣。

根據對稱陣的 $L D$ 分解，有 $S=LDL^T＝LFF^TL^T=LF(LF)^T$ ，令 $F' = (LF)^T$ ，則 $S=F'^TF'$ ，與對角陣 $D=F^TF$ 分解一致，所以最優解為 $x^=(ATSA)?1ATSb\mathbf{\hat{x}} = (A^TSA)^{-1}A^TS\mathbf{b}$

如何確定對角陣或對稱陣元素的值，這是一個困難的問題。有時可以根據先驗知識來人為指定對角陣元素值，比如根據測量精度。但指定對稱陣元素的值十分困難，在機器學習中，這稱為度量學習。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的5.4 加权最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。