我們在前面的《線性回歸》中了解到，對于訓練數據樣本(xi,yi)，我們有如下的擬合直線：

y?i=θ0+θ1?xi
我們構建了一個損失函數：
C=∑i=1n(yi?y?i)2
表示每個訓練數據點 (xi,yi)到擬合直線 y?i=θ0+θ1?xi的豎直距離的平方和，通過最小化這個損失函數來求得擬合直線的最佳參數 θ，實際上就是求損失函數C在取得最小值情況下 θ的值。那么損失函數為什么要用平方差形式呢，而不是絕對值形式，一次方，三次方，或四次方形式？

簡單的說，是因為使用平方形式的時候，使用的是“最小二乘法”的思想，這里的“二乘”指的是用平方來度量觀測點與估計點的距離（遠近），“最小”指的是參數值要保證各個觀測點與估計點的距離的平方和達到最小。

最小二乘法以估計值與觀測值的平方和作為損失函數，在誤差服從正態分布的前提下，與極大似然估計的思想在本質上是相同。對于極大似然估計，可以參考下前期文章《極大似然估計》。
我們設觀測輸出與預估數據之間的誤差為：

εi=yi?y?i
我們通常認為 ε服從正態分布，即：
f(εi;u,σ2)=1σ2π??√?exp[?(εi?u)22σ2]
我們求的參數 ε的極大似然估計 (u,σ2)，即是說，在某個 (u,σ2)下，使得服從正態分布的 ε取得現有樣本 εi的概率最大。那么根據極大似然估計函數的定義，令：
L(u,σ2)=∏i=1n12π??√σ?exp(?(εi?u)22σ2)
取對數似然函數：
logL(u,σ2)=?n2logσ2?n2log2π?∑i=1n(εi?u)22σ2
分別求 (u,σ2)的偏導數，然后置0，最后求得參數 (u,σ2)的極大似然估計為：
u=1n∑i=1nεi
σ2=1n∑i=1n(εi?u)2
我們在線性回歸中要求得最佳擬合直線 y?i=θ0+θ1?xi，實質上是求預估值 y?i與觀測值 yi之間的誤差 εi最小（最好是沒有誤差）的情況下 θ的值。而前面提到過， ε是服從參數 (u,σ2)的正態分布，那最好是均值 u和方差σ趨近于0或越小越好。即:
u=1n∑i=1nεi=1n∑i=1n(yi?y?i)趨近于0或越小越好
σ2=1n∑i=1n(εi?u)2=1n∑i=1n(yi?y?i?u)2≈1n∑i=1n(yi?y?i)2趨近于0或越小越好。
而這與最前面構建的平方形式損失函數本質上是等價的。

總結

以上是生活随笔為你收集整理的线性回归损失函数为什么要用平方形式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。