? ? ? ? ? ? ? ? ? ? ? ? ? ? 最小二乘法普通定義法證明

?普通公示法

由線性回歸的定義，我們的目標是尋求殘差平方和最小。

Step 1 殘差平方和的定義即如下：

注：這里 即目標實際值。

Step 2 將上式展開為每個樣本的殘差平方和求和的形式。

Step 3 針對每個樣本對Ax均可按照分量的x進行再次展開，即：

Step 4 針對上式的二次型求偏導,進而得到：

注： 1 這里 代表X的一個分量。

? ? ? ? 2 對上式二次型求偏導時 類似于 求導數。

Step 5 再結合Ax和分量的x展開互逆，又得到下式：

Step 6 去掉最外部的求和，即可寫成兩個向量的內積形式：

注:這里 針對矩陣A的第k列。

Step 7 再由內積的定義，不難轉換為兩矩陣乘。此時 需要加以轉置:?

Step 8 同理對q個方程都有如下式子，這時令偏導等于0,得到最優解（即損失函數最小）:

Step 9 ：針對上式求逆，即可得到最終結果：

注：這里假設 是可逆的。

總結

以上是生活随笔為你收集整理的最小二乘法普通定义法证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。