具體內容來自于讀芯術：https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw==&mid=2247487002&idx=1&sn=05d13bd67a31e38434285c5f0262b95d&chksm=ea87f6ccddf07fdae17a71819ba0577d099bb49b291093e7c6c7927456febfb3d8d308c30ad6&scene=21#wechat_redirect

?

理論部分：

過擬合可以從以下幾個方面進行解釋：

1. 模型復雜度：
從模型的角度上看，參數越多，模型的復雜度越高。高復雜度的模型也叫做高容量的模型，對于很多不同種類的數據都能有很好的擬合效果。模型的復雜度越高，越容易過擬合。

?

2. 性能度量的必然結果：
一個模型是否能夠準確的預測，需要有一個度量標準，典型的度量標準有均方誤差，指數誤差等。性能度量衡量的是數據的擬合能力，訓練集上模型的誤差小，說明模型在訓練集能夠很好的擬合，但是機器學習的目的并不是擬合訓練集，而是為了預測，是為了獲取預測能力強的模型。

?

誤差的一種理解是預測值和真實值之間的差值，另一種理解是偏差+方差+噪聲的值。

偏差，指的是樣本預測值的平均值和樣本真實值之間的差距，它體現的模型的擬合能力。

方差，指的是樣本預測值偏離樣本預測平均值的程度，它體現的是模型的泛化能力。

噪聲取決于數據，一般認為它的期望值為0。

?

如果一個模型在訓練集上表現優異，但是測試集上表現很差，是過擬合的典型表現。

如果一個模型在訓練集上表現就很差的話，說明該模型欠擬合。緩解欠擬合問題可以通過增加模型復雜度和增加訓練數據

?

降低過擬合的方法：
1. early stopping

2. 在高方差的情況下，可以通過增加訓練數據和減少特征維度來減少測試誤差

3. 正則化：L1正則化和L2正則化， L1正則化和L2正則化都能夠衰減權重，但是前者可以讓權重為0，這是一種重要的稀疏表示的方式，后者只會讓權重趨于0，但是不會等于0.

經典解釋圖：

?

用貝葉斯的框架解釋的化，L1本質上是加了均值為0的拉普拉斯先驗，而L2是加了均值為0的高斯先驗。

對數據進行特征選擇的過程，也可以理解成一種降低過擬合的手段，因為特征的減少也就一定程度上減少了模型復雜度。尤其是存在多重共線性問題時，L1正則化具有使得權重稀疏縮減為0的特性，實際上就是去除了線性相關的特征。

4. dropout， 通過一定的概率去除某些神經元的連接權重的方式來形成多個模型，而且這些模型之間天然就具備了參數共享的特性。

?

代碼部分：

?

轉載于:https://www.cnblogs.com/whatyouknow123/p/10540092.html

總結

以上是生活随笔為你收集整理的过拟合问题详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。