? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 最小二乘法(一元)推導(dǎo)

1 聲明

本文的數(shù)據(jù)來自網(wǎng)絡(luò)，部分代碼也有所參照，這里做了注釋和延伸，旨在技術(shù)交流，如有冒犯之處請聯(lián)系博主及時處理。

2 最小二乘法簡介

最小二乘法是一種優(yōu)化的方法，它主要是通過最小化誤差的平方和來做函數(shù)擬合的方法。

Excel版演示過程見?Excel一元線性回歸示例

3 最小二乘法一元推導(dǎo)

有如下回歸模型

其中a，b，μ2 ?都是不依賴于x的未知參數(shù)，記ε=Y-（a+bx）。

這里令殘差平方和的表達式為：

則取Q分別對a，b取偏導(dǎo)數(shù)，并令它們?yōu)榱恪?/p>

則得(重復(fù)的加換成乘，相同的加提取公因子)正規(guī)方程組

這里因為xi不全相同，（借助克拉姆法則）則正規(guī)方程組的系數(shù)行列式為

即方程組有唯一解。

則得到 a和b的值

成為Y對x的經(jīng)驗回歸方程。

帶入^a后，回歸方程又可寫成如下形式：

Qe稱之為殘差平方和，它是回歸函數(shù)在xi處的值與xi處的yi偏差的平方和。

總結(jié)

以上是生活随笔為你收集整理的最小二乘法(一元)推导的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。