分类模型的评估方法-精确率(Precision)
上一篇文章中,提到正確率(Accuracy)是機器學習分類任務中過得一個模型評估方法,并指出正確率(Accuracy)雖然簡單直觀,但在很多時候并不是一個真正正確的評估指標。
那還有什么評估方法呢?我們還是舉地震、癌癥、信用卡交易欺詐的例子,在這些情況下,我們顯然關心的是有沒有地震,有沒有癌癥,有沒有欺詐交易。如果有地震、有癌癥、有欺詐,竟然預測錯了,這顯然是非常嚴重的后果。
那么,要怎樣評估計算呢?這里就要引出”陰陽“的概念,我們做體檢時,經常會出現有陽性、陰性的檢查結果。什么意思呢?檢查出“陽性”一般代表就有異常結果,例如可能得了某病,或者懷孕等。“陰性”就代表正常結果,我們當然關心異常結果,也就是”陽性”的結果。
當然,檢查出“陽性”,并不代表真有某種疾病,這稱為“假陽”;同理,檢查出“陰性”,也并不代表沒有某種疾病,這稱為”假陰“。
這里把”陽性/陰性“從疾病檢查中引申出來,把我們關心的異常結果,例如地震、欺詐交易等都稱為”陽性“,同理,正常的結果沒有地震、沒有欺詐交易都稱為”陰性”。
那么,對于分類模型對測試集中每條數據樣本的預測,排列組合下,就只有4種可能性:
1.原本是陽性,預測成陽性:真陽 2.原本是陽性,預測成陰性:假陰 3.原本是陰性,預測成陽性:假陽 4.原本是陰性,預測成陰性:真陰怎么樣,是不是感覺都有點像武功秘籍《九陽真經》、《九陰真經》了。
前面說過,我們關注的是異常結果,即”陽性“,如果檢查出的”陽性”都是真陽,沒有”假陽”當然是好的。所以,我們用下式來評估模型的好壞:
這就是精確率(Precision)評估方法。
舉個例子,地震局的地殼活動數據,100萬個測試數據樣本中,只有10個是有地震的,另外的999990個數據是沒有地震的,如果我們的分類模型預測對了這999990個沒有地震的數據中的999900個;另外10個有地震的預測對了6個。
那么真陽=6,真陰=999900,假陽=90.假陰=4。
這個得分就很低了。如果按照”正確率/準確率(Accuracy)“來計算,就是(999900+6)/1000000=99.9906%。
因為我們更關心有地震的情況,所以,采用精確率(precision)的計算方法顯然更合適。
精確率(Precision)還有一個名稱,叫查準率。但是注意,查準率這個名稱主要用在信息檢索領域。例如一個論文數據庫,搜索”機器學習”相關論文,搜出來的文檔數量為10000條,其中真正與”機器學習“相關的文檔數量為9000條,那么查準率就是90%。
實際應用中,大家經常把正確率、準確率、精確率、查準率等混在一起,不同人說的都不是同一個東西。因此,建議使用英文原文來表達更清晰,即Accuracy和Precision。
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的分类模型的评估方法-精确率(Precision)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 分类模型的评估方法-正确率(Accura
- 下一篇: 分类模型的评估方法-召回率(Recall