學習筆記，僅供參考，有錯必究

---

文章目錄

• • • 經驗風險與泛化誤差概述
    • • 經驗風險
      • 泛化誤差
      • 欠擬合和過擬合
      • 訓練集、驗證集、測試集

---

經驗風險與泛化誤差概述

監督學習，尤其是其中一部分傳統的分類問題，能夠進一步泛化為一個統一的模型，稱為基于分類界限的結構風險最小模型。

要深入解讀結構風險最小，就需要理解機器學習中經典分類問題的統計學習基石，就是經驗風險最小。本質上，結構風險最小模型就是經驗風險最小和正則化的組合。有了結構風險最小，我們就能進一步統一邏輯回歸、廣義線性模型之外分類算法，包括支持向量機、AdaBoost算法等。

大家已經很直觀知道，分類的算法并不唯一，如有邏輯回歸和支持向量機算法等。那么就有個很直觀的問題，那就是哪個算法更好。在比較算法好壞的時候，有兩種模式，一種脫離具體問題，絕對的比較算法。另外一種不脫離具體問題，相對的比較算法。我們在歷史上學過一個道理，就是不能脫離歷史環境來評價一個人物的好壞。其實，這里也有類似的結論，一個算法的環境或者上下文，就是針對特定的具體問題，即不能

總結

以上是生活随笔為你收集整理的机器学习-算法背后的理论与优化(part3)--经验风险与泛化误差概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。