偏差-方差分解

參考鏈接：https://www.zhihu.com/question/20448464
https://blog.csdn.net/simple_the_best/article/details/71167786
算法在不同的訓(xùn)練集的上學(xué)得的模型是不同的，即使訓(xùn)練集來自同一分布。對測試樣本$x$，令$y_D$為$\mathbf{x}$在數(shù)據(jù)集上的標(biāo)記，$y$為$\mathbf{x}$的真實(shí)標(biāo)記，$f(\mathbf{x};D)$為訓(xùn)練集$D$上訓(xùn)練所得模型$f$在$\mathbf{x}(\mathbf{x}不一定\in D)$上的預(yù)測輸出。
算法在不同數(shù)據(jù)集$D$上的期望預(yù)測為：$$\bar{f}(x)=E_D[f(x;D)]$$
上式為從不同訓(xùn)練集$D$上訓(xùn)練的不同的$f$，對輸入的$\mathbf{x}$的預(yù)測值的期望。

泛化誤差：
以回歸問題為例，模型的平方誤差期望為:$$err(\mathbf{x})=E_D[(y_D?f(\mathbf{x};D){)}^2]$$
上式為從不同訓(xùn)練集$D$上訓(xùn)練的不同的$f$，對輸入的$\mathbf{x}$的預(yù)測值誤差的期望。
偏差：模型期望預(yù)測值與真實(shí)值之間的偏離程度，刻畫了模型的擬合能力。
$$bia{s}^2(x)=(\bar{f}(x)?y{)}^2$$
方差：度量了相同樣本數(shù)量的不同訓(xùn)練集的變動所導(dǎo)致的學(xué)習(xí)性能變化，刻畫了數(shù)據(jù)擾動所造成的影響。
$$var(x)=E_D[(f(x;D)?\bar{f}(x){)}^2]$$
噪聲： 樣本在數(shù)據(jù)集中的標(biāo)記與真實(shí)標(biāo)記的誤差。表示了算法期望泛化誤差的下限，刻畫了問題本身的難度。因?yàn)榧僭O(shè)數(shù)據(jù)很爛，噪聲高，此時(shí)模型再厲害也很難學(xué)習(xí)好，造成了該問題很難解決。$${\epsilon }^2=E_D[(y_D?y{)}^2]$$
為便于討論，假定無噪聲，$E_D[y_D?y]=0$。對算法的期望泛化誤差進(jìn)行分解：

上式推理中：$E_D[2(f(\mathbf{x};D)?\bar{f}(\mathbf{x}))(\bar{f}(\mathbf{x})?y_D)]=0$，展開過程如下：
$$\begin{gathered} E_D[f(\mathbf{x};D)\bar{f}(\mathbf{x})?f(\mathbf{x};D)y_D?{\bar{f}}^2(\mathbf{x})+\bar{f}(\mathbf{x})y_D)] \\ =E_D[f(\mathbf{x};D)\bar{f}(\mathbf{x})?{\bar{f}}^2(\mathbf{x})]+E_D[\bar{f}(\mathbf{x})y_D?f(\mathbf{x};D)y_D] \\ =\bar{f}(\mathbf{x})E_D[f(\mathbf{x};D)]?{\bar{f}}^2(\mathbf{x})+\bar{f}(\mathbf{x})E_D(y_D)?E_D[f(\mathbf{x};D)y_D] \\ ={\bar{f}}^2(\mathbf{x})?{\bar{f}}^2(\mathbf{x})+\bar{f}(\mathbf{x})E_D(y_D)?\bar{f}(\mathbf{x})E_D(y_D)=0 \end{gathered}$$
泛化誤差可分解為偏差、方差和噪聲之和。偏差-方差分解說明，為了取得好的泛化性能，則需使偏差較小，能夠充分?jǐn)M合數(shù)據(jù)，并且使方差較小，使得數(shù)據(jù)擾動產(chǎn)生的影響小。
偏差與方差是有沖突的，稱為偏差-方差窘境（bias-variance dilemma）.在訓(xùn)練不足時(shí)，模型的擬合能力不強(qiáng)，訓(xùn)練數(shù)據(jù)的擾動不足以使得模型產(chǎn)生顯著變化，此時(shí)偏差在主導(dǎo)了泛化誤差；隨著訓(xùn)練程度的加深，學(xué)習(xí)器的擬合能力增強(qiáng)，訓(xùn)練數(shù)據(jù)產(chǎn)生的擾動漸漸能被漸漸能被學(xué)到，方差主導(dǎo)了泛化錯誤率；在訓(xùn)練程度充足時(shí)，模型的擬合能力非常強(qiáng)，訓(xùn)練數(shù)據(jù)的發(fā)生的輕微擾動都會使得模型發(fā)生顯著變化。

如圖所示為多項(xiàng)式的次數(shù)與誤差的關(guān)系。
高偏差：相當(dāng)于圖中的左側(cè)。
$J_{train}(\theta )較大，J_{train}(\theta )\approx J_{CV}(\theta )$

高方差：相當(dāng)于圖中的右側(cè)。
$J_{train}(\theta )較小，J_{train}(\theta )?J_{CV}(\theta )$
訓(xùn)練得到的模型太擬合訓(xùn)練數(shù)據(jù)了。不同的訓(xùn)練數(shù)據(jù)訓(xùn)練的模型效果波動很大。

#學(xué)習(xí)曲線
參考：http://scikit-learn.org/stable/modules/learning_curve.html#learning-curve
學(xué)習(xí)曲線即為準(zhǔn)確率隨訓(xùn)練樣本數(shù)量的變化曲線。更多的訓(xùn)練樣本有助于降低過擬合程度，在實(shí)踐中，收集更多的數(shù)據(jù)會帶來高昂的成本。通過將模型的訓(xùn)練及驗(yàn)證準(zhǔn)確率看作是訓(xùn)練數(shù)據(jù)集大小的函數(shù)，并繪制圖像，可以很容易看出收集更多的數(shù)據(jù)是否有助于解決問題。
使用威斯康星乳腺癌數(shù)據(jù)集繪制學(xué)習(xí)曲線：

import matplotlib.pyplot as plt from sklearn.model_selection import learning_curve from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split''' 讀取乳腺癌數(shù)據(jù)集 數(shù)據(jù)集前兩列存儲樣本ID和診斷結(jié)果（M代表惡性，B代表良性） 3~32列包含了30個特征 ''' df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases'+ '/breast-cancer-wisconsin/wdbc.data',header=None) X = df.loc[:, 2:].values y = df.loc[:, 1].values le =LabelEncoder() # 將類標(biāo)從字符串(M或B)變?yōu)檎麛?shù)的(0,1) y = le.fit_transform(y) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)''' 在流水線中集成標(biāo)準(zhǔn)化操作以及分類器 PipeLine對象采用元組的序列作為輸入，每個元組第一個值為字符串， 可以通過字符串訪問流水線的元素，第二個值為sklearn中的轉(zhuǎn)換器或評估器 ''' pipe_lr = Pipeline([('scl', StandardScaler()),('clf', LogisticRegression(penalty='l2', random_state=0)) ]) ''' learning_curve默認(rèn)使用分層K折交叉驗(yàn)證 ''' train_sizes, train_scores, valid_scores = \learning_curve(estimator=pipe_lr,X=X_train,y=y_train,train_sizes=np.linspace(0.1, 1.0, 10),cv=10)train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) valid_mean = np.mean(valid_scores, axis=1) valid_std = np.std(valid_scores, axis=1)plt.plot(train_sizes, train_mean, c='blue', marker='o', markersize=5,label='training accuracy') plt.fill_between(train_sizes,train_mean - train_std,train_mean + train_std,alpha=0.15, color='blue')plt.plot(train_sizes, valid_mean, c='green', marker='o', markersize=5,linestyle='--', label='validation accuracy') plt.fill_between(train_sizes,valid_mean - valid_std,valid_mean + valid_std,alpha=0.15, color='green')plt.grid() plt.xlabel('Number of training samples') plt.ylabel('Accuracy') plt.legend(loc='best') plt.ylim([0.8, 1.01]) plt.show()

從圖中可以看出，數(shù)據(jù)集樣本的數(shù)量在300~350之間時(shí)，泛化能力最強(qiáng)。模型在數(shù)據(jù)集較小的情況下，隨著樣本數(shù)量的增多訓(xùn)練準(zhǔn)確率下降，說明模型陷入了過擬合。在250樣本數(shù)量之后，模型趨于飽和和穩(wěn)定，并具有輕微的過擬合現(xiàn)象。

#驗(yàn)證曲線
驗(yàn)證曲線是準(zhǔn)確率與模型超參數(shù)之間的關(guān)系，可以從關(guān)系中看出超參數(shù)在什么時(shí)候泛化能力最強(qiáng)，以及什么時(shí)候會陷入欠擬合或者過擬合。
使用邏輯斯諦回歸中的正則化參數(shù)$C$繪制驗(yàn)證曲線：

import matplotlib.pyplot as plt from sklearn.model_selection import validation_curve from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder from sklearn.model_selection import train_test_split''' 讀取乳腺癌數(shù)據(jù)集 數(shù)據(jù)集前兩列存儲樣本ID和診斷結(jié)果（M代表惡性，B代表良性） 3~32列包含了30個特征 ''' df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases'+ '/breast-cancer-wisconsin/wdbc.data',header=None) X = df.loc[:, 2:].values y = df.loc[:, 1].values le =LabelEncoder() # 將類標(biāo)從字符串(M或B)變?yōu)檎麛?shù)的(0,1) y = le.fit_transform(y) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)''' 在流水線中集成標(biāo)準(zhǔn)化操作以及分類器 PipeLine對象采用元組的序列作為輸入，每個元組第一個值為字符串， 可以通過字符串訪問流水線的元素，第二個值為sklearn中的轉(zhuǎn)換器或評估器 ''' pipe_lr = Pipeline([('scl', StandardScaler()),('clf', LogisticRegression(penalty='l2', random_state=0)) ])param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0] train_scores, valid_scores = \validation_curve(estimator=pipe_lr,X=X_train,y=y_train,# 可以通過estimator.get_params().keys()獲取param索引名param_name='clf__C',param_range=param_range,cv=10)train_mean = np.mean(train_scores, axis=1) train_std = np.std(train_scores, axis=1) valid_mean = np.mean(valid_scores, axis=1) valid_std = np.std(valid_scores, axis=1)plt.plot(param_range, train_mean, c='blue', marker='o', markersize=5,label='training accuracy') plt.fill_between(param_range,train_mean - train_std,train_mean + train_std,alpha=0.15, color='blue')plt.plot(param_range, valid_mean, c='green', marker='o', markersize=5,label='validation accuracy') plt.fill_between(param_range,valid_mean - valid_std,valid_mean + valid_std,alpha=0.15, color='green')plt.grid() plt.xscale('log') plt.xlabel('Parameter C') plt.ylabel('Accuracy') plt.legend(loc='best') plt.ylim([0.8, 1.0]) plt.show()

從圖中可以看出，最優(yōu)點(diǎn)在C=0.1附件。C值較小時(shí)，隨著C值越大，訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率逐漸上升，說明模型處于欠擬合；C值較大時(shí)，隨著C值越大，訓(xùn)練準(zhǔn)確率逐漸上升，驗(yàn)證準(zhǔn)確率下降，說明模型處于過擬合。

總結(jié)

以上是生活随笔為你收集整理的偏差-方差分解，学习和验证曲线评估模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。