文章目錄

• • 擬合算法簡介
  • 一個線性規(guī)劃的例子
  • 最小二乘法
  • 求解最小二乘法
  • 擬合檢驗
  • 總結(jié)

擬合算法簡介

與插值算法不同，擬合算法的目的是得到一條確定的曲線；而插值是根據(jù)已有的數(shù)據(jù)來獲得一系列新的“靠譜”的數(shù)據(jù)。

插值要求曲線必須全部經(jīng)過樣本數(shù)據(jù)點，而擬合所得的結(jié)果曲線不一定要經(jīng)過每一個樣本數(shù)據(jù)點，只要能夠通過誤差檢驗即可

一個線性規(guī)劃的例子

顯然，由圖中的數(shù)據(jù)可以得到，可以設(shè)置該擬合曲線為 $y=kx+b$，要估計 $k$ 和 $b$ 的值，可以使用高中所學(xué)知識——最小二乘法。

最小二乘法

設(shè)樣本點數(shù)據(jù)為 $(x_i,y_i)$，$i=1,2,?,n$，那么最小二乘法有如下兩種定義：

第一種定義：$\widehat{y_i}=k{x}_i+b$
其中：$$\widehat{k_i},\widehat{b_i}=ar{g}_{k,b}min(\sum _{i=1}^n|y_i?\widehat{y_i}|)$$表示表達(dá)式的參數(shù)為$k$和$b$，而 $\hat{k}$ 和 $\hat{b}$ 能夠使得表達(dá)式取得最小值。

第二種定義：$\widehat{y_i}=k{x}_i+b$
其中：$$\hat{k},\hat{b}=ar{g}_{k,b}min(\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2)$$表達(dá)的意義與第一種定義相同，只是表達(dá)式不同而已。

在平常的應(yīng)用中，我們常常使用第二種定義。原因是第一種定義中含有絕對值，函數(shù)圖像有拐點，不易求導(dǎo)。由此可以引申出以下結(jié)論：
$?$ 不用奇數(shù)次原因
使用奇數(shù)次會有負(fù)數(shù)出現(xiàn)，那么誤差就會奇偶相抵
$?$ 不用偶數(shù)次原因
像4次這樣的次數(shù)太高，結(jié)果易受極端數(shù)據(jù)（比如當(dāng)自變量很大時）的影響。

求解最小二乘法

令$L={\sum }_{i=1}^n(y_i?k{x}_i?b{)}^2$，現(xiàn)在要尋找能夠使 $L$ 最小的 $k$ 和 $b$ 的值：$$?\begin{array}{rl}& \frac{?L}{?k}=?2\sum _{i=1}^n{x}_i(y_i?k{x}_i?b)=0\\ & \frac{?L}{?b}=?2\sum _{i=1}^n(y_i?k{x}_i?b)=0\end{array}$$ $$??\begin{array}{rl}& \sum _{i=1}^n{x}_i{y}_i=k\sum _{i=1}^n{x}_i^2+b\sum _{i=1}^n{x}_i\\ & \sum _{i=1}^n{y}_i=k\sum _{i=1}^n{x}_i+bn\end{array}$$ $$??\begin{array}{rl}& n\sum _{i=1}^n{x}_i{y}_i=kn\sum _{i=1}^n{x}_i^2+bn\sum _{i=1}^n{x}_I\\ & \sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i+bn\sum _{i=1}^n{x}_i\end{array}$$
因此：$$n\sum _{i=1}^n{x}_i{y}_i?\sum _{i=1}^n{y}_i\sum _{i=1}^n{x}_i=kn\sum _{i=1}^n{x}_i^2?k\sum _{i=1}^n{x}_i\sum _{i=1}^n{x}_i$$ $$?\hat{k}=\frac{n{\sum }_{i=1}^n{x}_i{y}_i?{\sum }_{i=1}^n{y}_i{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$ $$?\hat{b}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{y}_i?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{y}_i}{n{\sum }_{i=1}^x{x}_i^2?{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i}$$

擬合檢驗

在函數(shù)時線性函數(shù)（注意：這里的線性函數(shù)是指參數(shù)是線性的，而不是自變量是線性的，例如：$y=a{x}^2+b$同樣也是線性函數(shù)）時，可以使用擬合優(yōu)度（可決系數(shù)）$R^2$ 來判斷擬合好壞

擬合優(yōu)度的定義
$?$ 總體平方和 $$SST=\sum _{i=1}^n(y_i?\bar{y}{)}^2$$
$?$ 誤差平方和 $$SSE=\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2$$
$?$ 回歸平方和 $$SSR=\sum _{i=1}^n(\widehat{y_i}?\bar{y}{)}^2$$其中，$SST=SSE+SSR$
此時可以定義擬合優(yōu)度 $R^2=\frac{SSR}{SST}=\frac{SST?SSE}{SSR}=1?\frac{SSE}{SST}$，$R^2$ 越接近于0，說明誤差越小，擬合度越好 。
下面證明 $SST=SSE+SSR$：$$\begin{gathered} \sum _{i=1}^n(y_i?\bar{y}{)}^2=\sum _{i=1}^n(y_i?\widehat{y_i}+\widehat{y_i}?\bar{y}{)}^2 \\ =\sum _{i=1}^n(y_i?\widehat{y_i}{)}^2+\sum _{i=1}^n(\widehat{y_i}?\bar{y}{)}^2+2\sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y}) \end{gathered}$$因此，只需證明：$$\sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y})=0$$由一階導(dǎo)數(shù)條件：$$?\begin{array}{rl}& \frac{?L}{?k}=?2\sum _{i=1}^n{x}_i(y_i?k{x}_i?b)=0\\ & \frac{?L}{?b}=?2\sum _{i=1}^n(y_i?k{x}_i?b)=0\end{array}$$ $$??\begin{array}{rl}& \sum _{i=1}^n{x}_i(y_i?\widehat{y_i})=0\\ & \sum _{i=1}^n(y_i?\widehat{y_i})=0\end{array}$$因此，$$\begin{array}{rl}& \sum _{i=1}^n(y_i?\widehat{y_i})(\widehat{y_i}?\bar{y})\\ =& \sum _{i=1}^n\widehat{y_i}(y_i?\widehat{y_i})?\bar{y}\sum _{i=1}^n(y_i?\widehat{y_i})\\ =& \sum _{i=1}^n(k{x}_i+b)(y_i?\widehat{y_i})=0\end{array}$$（參數(shù)）線性函數(shù)可以使用 $R^2$ 來判斷擬合的好壞，其他非線性的函數(shù)直接看 $SSE$ 的大小即可。

總結(jié)

像擬合這類型的問題，最簡便的方法時使用 $Matlab$ 中的擬合工具箱來擬合。里面有許多內(nèi)置的擬合函數(shù)類型，且能計算 $R^2$ 或者 $SSE$，通過輸入?yún)?shù)，確定擬合類型即可獲得擬合函數(shù)。

總結(jié)

以上是生活随笔為你收集整理的数学建模学习笔记（四）——拟合算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。