學習筆記，僅供參考，有錯必糾

---

文章目錄

• • 結構風險最小(上)
  • • 經驗風險最小和過擬合
    • 結構風險最小和正則化

---

結構風險最小(上)

經驗風險沒有考慮模型學習能力和數據的匹配度。在討論泛化誤差時，若模型學習能力過強，則很容易造成過擬合。除了換一種學習能力弱的學習模型，另一種方法是添加正則化。在經驗風險最小的同時，兼顧平衡模型的學習能力與數據的匹配，避免出現過擬合的新目標，就是結構風險最小。

經驗風險最小和過擬合

大家知道，經驗風險就是對訓練誤差的一個估算，但是訓練的學習模型最后要用來做預測，所以更加關注測試誤差。一般把訓練學習模型的過程稱為擬合，擬合過程中，根據經驗風險來訓練模型，但最終目標是泛化誤差最小。在具體問題中，經驗風險對應訓練誤差，而泛化誤差對應測試誤差。通常在擬合完成之后會遇到下面兩種情況。

訓練誤差大，且測試誤差大，那么可能是欠擬合。

一般學習模型不夠復雜。

VC定理就是用來度量學習模型的擬合能力的一種尺度。

訓練誤差小，但測試誤差大，那么可能是發生了過擬合。

選用的學習模型過于復雜。

使用交叉

總結

以上是生活随笔為你收集整理的机器学习-算法背后的理论与优化(part4)--结构风险最小(上)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。