在深度學(xué)習(xí)中，數(shù)據(jù)過擬合，欠擬合的問題很常見，先總結(jié)一下：過擬合稱為高方差，欠擬合稱為高偏差。

可能只看偏差，方差不是很理解，下面先來個百度百科看一下。

偏差(統(tǒng)計學(xué)概念)

偏差又稱為表觀誤差，是指個別測定值與測定的平均值之差，它可以用來衡量測定結(jié)果的精密度高低。在統(tǒng)計學(xué)中，偏差可以用于兩個不同的概念，即有偏采樣與有偏估計。一個有偏采樣是對總樣本集非平等采樣，而一個有偏估計則是指高估或低估要估計的量

方差

方差是在概率論和統(tǒng)計方差衡量隨機變量或一組數(shù)據(jù)時離散程度的度量。概率論中方差用來度量隨機變量和其數(shù)學(xué)期望(即均值)之間的偏離程度。統(tǒng)計中的方差(樣本方差)是每個樣本值與全體樣本值的平均數(shù)之差的平方值的平均數(shù)。在許多實際問題中，研究方差即偏離程度有著重要意義。

方差是衡量源數(shù)據(jù)和期望值相差的度量值。

看到這兩個解釋我就暈了，跟神經(jīng)網(wǎng)絡(luò)中的偏差，方差還是有些區(qū)別的，下面先看一下偏差和方差是什么樣子，然后再說一下我的理解。

最左邊的圖是一個高偏差狀態(tài)，中間的是適度擬合，也是我們想要達(dá)到的狀態(tài)，右圖是一個高方差的狀態(tài)。

偏差，是指預(yù)測結(jié)果和真實值之間的差異，在神經(jīng)網(wǎng)絡(luò)中，如果神經(jīng)網(wǎng)絡(luò)模型過于簡單，層數(shù)很少，神經(jīng)模型無法學(xué)習(xí)到樣本的特征，假設(shè)我們要擬合上圖的數(shù)據(jù)，簡單的網(wǎng)絡(luò)擬合的結(jié)果可能就是上圖最左邊，結(jié)果就是一種高偏差的狀態(tài)，在圖中表現(xiàn)成了一條近似線性的直線，幾乎沒有擬合數(shù)據(jù)。很多數(shù)據(jù)被錯誤的分類。這不是我們想要的結(jié)果。

方差，如果我們用了一個比較深度很深，隱藏節(jié)點很多的一個復(fù)雜的分類器去擬合上圖的數(shù)據(jù)集，大而深的神經(jīng)網(wǎng)絡(luò)可以充分學(xué)習(xí)到樣本的特征，但是設(shè)置不好就會得到上圖最右邊的結(jié)果，我們稱之為高方差，有的人可能會問了，這個不是擬合的最好嗎，為什么中間擬合的結(jié)果是我們最想要的呢？

舉個例子，假如上圖是腫瘤和年齡的數(shù)據(jù)，橫軸是年齡，縱軸是腫瘤大小，左下方是陰性(非腫瘤)，右上方是陽性(腫瘤)，右圖擬合進(jìn)入陰性的那個最上方的很顯然是陽性概率更大一些，但是這個分類器卻分為陰性，而最下方的X這個數(shù)據(jù)，更靠近陰性，所以是陰性的概率更大一些，卻分類為陽性，所以這種分類結(jié)果也是我們不想要的。

重點來了

為了更好的理解高方差和高偏差，我打個比方，把神經(jīng)網(wǎng)絡(luò)比作學(xué)生，訓(xùn)練集樣本比作試卷中的試題(每個試卷中都有幾個偏題，怪題)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)就是等同于讓學(xué)生通過給的試卷來找出其中題目的規(guī)律，之后讓神經(jīng)網(wǎng)絡(luò)識別為其他樣本數(shù)據(jù)就相當(dāng)于用其他試題來考學(xué)生的學(xué)習(xí)情況，如果學(xué)生通過這套試卷的學(xué)習(xí)，除了偏題，怪題之外的題目都能做對，表明學(xué)生對試卷中的題目掌握到了其中的規(guī)律，在神經(jīng)網(wǎng)絡(luò)中就是適度擬合，就是我們想要的結(jié)果，如果學(xué)生做題很多都錯了，說明學(xué)生沒有對訓(xùn)練題目有很好的掌握，在神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為欠擬合，如果學(xué)生做了滿分，但是換了其他試卷就做不到滿分了，因為不同的試卷偏題怪題是不一樣的，這在神經(jīng)網(wǎng)絡(luò)中叫做過擬合。怎么樣，這樣一類比，是不是很清楚了？

目前對于偏差和方差常見的解決方法有兩個，一個是正則化，另一個是用更多的數(shù)據(jù)，第二種方法就像是考試，見得題多了，解的題多了，自然見到其他的題也能輕松解決，神經(jīng)網(wǎng)絡(luò)也是一樣，需要給他喂入更多的數(shù)據(jù)，讓它從中找出規(guī)律。

總結(jié)

以上是生活随笔為你收集整理的三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。