數(shù)據(jù)集劃分

測試集

在線性回歸的章節(jié)中，我們已經(jīng)知道，僅僅具備一個(gè)很小的訓(xùn)練誤差并不能保證我們的預(yù)測函數(shù)就是優(yōu)秀的，因?yàn)檫@種“優(yōu)秀”僅僅體現(xiàn)在了對(duì)于已知的訓(xùn)練樣本的假設(shè)上，而無法保證見到新的樣本時(shí)候還能做出足夠好的預(yù)測，過擬合就是當(dāng)中的典型例子：

因此，預(yù)測準(zhǔn)不準(zhǔn)應(yīng)當(dāng)反映在對(duì)于新樣本的泛化（generalize）能力。我們考慮將數(shù)據(jù)集劃分為：

• 訓(xùn)練集：70%
• 測試集：30%

在對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練集和測試集的劃分前，最好先對(duì)數(shù)據(jù)集進(jìn)行亂序，防止類似樣本聚到一起

引入如下符號(hào)：

• $(x^{(1)}，y^{(1)})$ ：訓(xùn)練樣本
• $(x_{test}^{(1)}，y_{test}^{(1)})$ ：測試樣本
• $m$ ：訓(xùn)練集樣本容量
• $m_{test}$ ：測試集樣本容量

線性回歸的測試誤差

在線性回歸中，我們就通過計(jì)算測試集的代價(jià)函數(shù)來評(píng)估參數(shù) $\theta$ 的泛化能力：
$$J_{test}=\frac{1}{2m_{test}}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})?y_{test}^{(i)}{)}^2$$

邏輯回歸的測試誤差

在邏輯回歸中，測試集的代價(jià)函數(shù)為：
$$J_{test}(\theta )=?\frac{1}{m_{test}}\sum _{i=1}^{m_{test}}(y_{test}^{(i)}log{h}_{\theta }(x_{test}^{(i)}))?(1?y_{test}^{(i)})log{h}_{\theta }(x_{test}^{(i)}))$$

由于邏輯回歸處理的是 0/1 分類問題，其預(yù)測結(jié)果只有正確與錯(cuò)誤之分，所以引入誤分率（Misclassification Error）：
$$err(h_{\theta }(x),y)=\{\begin{array}{l}1,if{h}_{\theta }(x)\ge 0.5,y=0or{h}_{\theta }(x)<0.5,y=1\\ 0,otherwise\end{array}$$

則邏輯回歸中的測試誤差可以表示為：
$$Tes{t}_{error}=\frac{1}{m_{test}}\sum _1^{m_{test}}err(h_{\theta }(x_{test}^{(i)}),y_{test}^{(i)})$$

交叉驗(yàn)證集

在多項(xiàng)式回歸中，我們總是嘗試不同的多項(xiàng)式次數(shù)$（degree）$，形成了不同的預(yù)測模型：

$$1.h_{\theta }(x)={\theta }_0+{\theta }_{1}x$$$$2.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2$$$$3.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_3{x}^3$$$$4.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_4{x}^4$$$$5.h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_5{x}^5$$

我們計(jì)算各個(gè)模型的對(duì)應(yīng)的測試誤差，假設(shè) $degree$=5 時(shí)，測試誤差最小，我們就選出了以下模型來迎接新的樣本：
$$h_{\theta }(x)={\theta }_0+{\theta }_{1}x+...+{\theta }_5{x}^5$$

對(duì)于 $degree$ 的確定，是我們對(duì)于模型的選擇（Model Selection），正如我們?cè)诰€性回歸中確定 $\theta$ 一樣。在線性回歸中，我們通過訓(xùn)練集確定模型，測試集來評(píng)估模型的泛化能力。在多項(xiàng)式回歸中，我們通過訓(xùn)練集獲得了參數(shù) $\theta$ ，而通過測試集確定了模型，那么，這兩個(gè)集合用完了，我們就缺少評(píng)估模型泛化能力的數(shù)據(jù)集。鑒于此，引入了交叉驗(yàn)證集（Cross Validation Set），“交叉”二字體現(xiàn)了一種承上啟下的關(guān)系，他通過訓(xùn)練集獲得的結(jié)果，選擇了模型，并將該模型交給測試集進(jìn)行評(píng)估：

• 訓(xùn)練集：60%，確定參數(shù) $\theta$
• 交叉驗(yàn)證集：20%，進(jìn)行模型選擇。
• 測試集：20%，評(píng)價(jià)模型預(yù)測能力。

三者的誤差函數(shù)如下：

• 訓(xùn)練集誤差：
  $$J_{train}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{train}}(h_{\theta }(x_{train}^{(i)})?y_{train}^{(i)}{)}^2$$

• 交叉驗(yàn)證集誤差：
  $$J_{cv}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{cv}}(h_{\theta }(x_{cv}^{(i)})?y_{cv}^{(i)}{)}^2$$

• 測試集誤差：
  $$J_{test}(\theta )=\frac{1}{2m}\sum _{i=1}^{m_{test}}(h_{\theta }(x_{test}^{(i)})?y_{test}^{(i)}{)}^2$$

總結(jié)

以上是生活随笔為你收集整理的4.2 数据集划分-机器学习笔记-斯坦福吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。