欠擬合和過擬合

問題

在上一節中，我們利用多項式回歸獲得更加準確的擬合曲線，實現了對訓練數據更好的擬合。然而，我們也發現，過渡地對訓練數據擬合也會丟失信息規律。首先，引出兩個概念：

• 欠擬合（underfitting）：擬合程度不高，數據距離擬合曲線較遠，如下左圖所示。

• 過擬合（overfitting）：過度擬合，貌似擬合幾乎每一個數據，但是丟失了信息規律，如下右圖所示，房價隨著房屋面積的增加反而降低了。
  

局部加權線性回歸（LWR）

為了解決欠擬合和過擬合問題，引入了局部加權線性回歸（Locally Weight Regression）。在一般的線性回歸算法中，對于某個輸入向量 $x$ ，我們這樣預測輸出 $y$ ：

修正 $\theta$ 來最小化 ${\sum }_i(y_i?{\theta }^T{x}^{(i)}{)}^2$

進行預測： ${\theta }^{T}x$

而在 LWR 中：

修正 $\theta$ 來最小化 ${\sum }_i{w}^{(i)}(y_i?{\theta }^T{x}^{(i)}{)}^2$

進行預測： ${\theta }^{T}x$

在 LWR 中，我們對一個輸入 $x$ 進行預測時，賦予了 $x$ 周圍點不同的權值，距離 $x$ 越近，權重越高。整個學習過程中誤差將會取決于 $x$ 周圍的誤差，而不是整體的誤差，這也就是局部一詞的由來。

通常， $w^{(i)}$ 服從高斯分布，在 $x$ 周圍呈指數型衰減：
$$w^{(i)}=e^{?\frac{(x^{(i)}?x{)}^2}{2{\tau }^2}}$$

其中， $\tau$ 值越小，則靠近預測點的權重越大，而遠離預測點的權重越小。

另外，LWR 屬于非參數（non-parametric）學習算法，所謂的非參數學習算法指的是沒有明確的參數（比如上述的 $\theta$ 取決于當前要預測的 $x$ ），每進行一次預測，就需要重新進行訓練。而一般的線性回歸屬于參數（parametric）學習算法，參數在訓練后將不再改變。

LWR 補充自機器學習實戰一書，后續章節中我們知道，更一般地，我們使用正規化來解決過擬合問題。

總結

以上是生活随笔為你收集整理的1.8 欠拟合和过拟合-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。