為了使分類結果能更好的反應數據的特征，評估分類準確率的方法，主要有保持、隨機子抽樣、交叉驗證和自助法。

1. 保持（Hold Out）方法是目前為止討論準確率時的默認的方法，以無放回抽樣方式把數據集分為兩個相互獨立的子集，訓練集和測試集，所占比例分別為2/3,1/3。

2. 隨機子抽樣

3. k-折交叉驗證

分類器的評估與分類器本身同樣重要，評估分類器可信度的一個基本工具。以一個二分類問題作為研究對象，矩陣的列表每一列表示預測值，每一行表示實際類。

(1)真正類(True Positive , TP)：被模型預測為正類的正樣本

(2)假正類(False Positive , FP)：被模型預測為正類的負樣本

(3)假負類(False Negative , FN)：被模型預測為負類的正樣本

(4)真負類(True Negative , TN)：被模型預測為負類的負樣本

(1)真正類率(True Positive Rate , TPR)【靈敏度(sensitivity)】：TPR = TP /(TP + FN) ，即正樣本預測結果數/正樣本實際數

(2)假負類率(False Negative Rate , FNR) ：FNR = FN /(TP + FN) ，即被預測為負的正樣本結果數/正樣本實際數

(3)假正類率(False Positive Rate , FPR) ：FPR = FP /(FP + TN) ，即被預測為正的負樣本結果數/負樣本實際數

(4)真負類率(True Negative Rate , TNR)【特指度(specificity)】：TNR = TN /(TN + FP) ，即負樣本預測結果數/負樣本實際數

準確率=正確預測正負的個數/總個數（這個指標在python中的交叉驗證時可以求準確率）

覆蓋率（也叫作召回率）=正確預測正的個數/實際正的個數 （當然也可以是負覆蓋率）

命中率=正確預測正的個數/預測正的個數

我們常用的就是分類器的精確度（accuracy），在某些如推薦或信息獲取領域還會組合使用precision-recall作為評價指標。因為你用于訓練分類器的樣本本身就是總體的一個抽樣，所以這些指標的數值也僅僅是一種統計上的反映，如果你做多次抽樣訓練，跟別的隨機變量一樣，它一樣會有期望、方差、置信區間這些概念。理論上說，訓練樣本量越大，你得到的這些指標的可信度就越高（即它們以某個概率落在的置信區間越窄）。不幸的是，實際中你未必會有那么多的樣本，所以機器學習工作者設計出很多種方法來應對數據量不足情況下分類器的訓練與評估，如k步交叉檢驗、留1法、boostrap等等。

總結

以上是生活随笔為你收集整理的分类模型的评价的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。