我們知道，機(jī)器學(xué)習(xí)的一大任務(wù)是”分類”。我們構(gòu)建了一個(gè)分類模型，通過訓(xùn)練集訓(xùn)練好后，那么這個(gè)分類模型到底預(yù)測效果怎么樣呢?那就需要進(jìn)行評估驗(yàn)證。

評估驗(yàn)證當(dāng)然是在測試集上。問題是，我通過什么評估這個(gè)分類模型呢?也就是說我們怎么給這個(gè)模型打分呢?

想想我們上學(xué)時(shí)的考試，總分100分，總共100道題，作對1題給1分，最后會有一個(gè)得分，例如80分，90分，換算成百分比就是80%，90%，這是我們自然而然能想到的評估方法。在測試集上，假定有10000個(gè)樣本數(shù)據(jù)，這個(gè)模型進(jìn)行正確分類的樣本數(shù)據(jù)是9000個(gè)，其它1000個(gè)都分錯(cuò)了，那么得分就是9000/10000=90%。

這種很簡單很直觀的評估方法就是正確率(Accuracy）。在一般情況下，這種方式就很好了，注意：正確率(Accuracy)也經(jīng)常翻譯成準(zhǔn)確率。

但是在很多情況下，這種方式就不那么好了。例如考試中的100道題，不是每道題都是1分，而是前90道題是選擇題，每題1分，后10道題是應(yīng)用題，每題20分。A同學(xué)答對了前80道題，B同學(xué)答對了后80道題，按照答對題的數(shù)量，都是80道題，正確率都是80%。但是，后面的題更重要，B同學(xué)理應(yīng)比A同學(xué)得分更高。

要知道我們的試卷就是這么設(shè)計(jì)的，也就是說有些題比其它題更重要，比如應(yīng)用題就比選擇題重要。同樣，在數(shù)據(jù)樣本中，有些數(shù)據(jù)樣本就是比其它數(shù)據(jù)樣本更重要。

例如：地震局的地殼活動數(shù)據(jù)，100萬個(gè)測試數(shù)據(jù)樣本中，只有10個(gè)是有地震的，另外的999990個(gè)數(shù)據(jù)是沒有地震的.如果我們的分類模型預(yù)測對了這999990個(gè)沒有地震的數(shù)據(jù)，另外10個(gè)有地震的都預(yù)測錯(cuò)了，那么按照正確率(Accuracy)的計(jì)算，得分仍然高達(dá)99.999%，這顯然是離譜的評估。

再例如：醫(yī)院的肺癌檢查數(shù)據(jù)，10萬個(gè)測試數(shù)據(jù)樣本中，只有100個(gè)是有癌癥的；信用卡交易數(shù)據(jù)中，1億個(gè)測試數(shù)據(jù)樣本，只有1萬個(gè)是欺詐交易；像預(yù)測地震、癌癥、欺詐交易寫等等這些例子可是我們機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)常遇到的狀況。

因此，正確率(Accuracy)雖然簡單直觀，但在很多時(shí)候并不是一個(gè)真正正確的評估指標(biāo)。

總結(jié)

以上是生活随笔為你收集整理的分类模型的评估方法-正确率(Accuracy)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。