ROC曲线-阈值评价标准
ROC曲線指受試者工作特征曲線 / 接收器操作特性曲線(receiver operating characteristic curve), 是反映敏感性和特異性連續(xù)變量的綜合指標,是用構(gòu)圖法揭示敏感性和特異性的相互關系，它通過將連續(xù)變量設定出多個不同的臨界值，從而計算出一系列敏感性和特異性，再以敏感性為縱坐標、（1-特異性）為橫坐標繪制成曲線，曲線下面積越大，診斷準確性越高。在ROC曲線上，最靠近坐標圖左上方的點為敏感性和特異性均較高的臨界值。
ROC曲線的例子
考慮一個二分問題，即將實例分成正類（positive）或負類（negative）。對一個二分問題來說，會出現(xiàn)四種情況。如果一個實例是正類并且也被 預測成正類，即為真正類（True positive）,如果實例是負類被預測成正類，稱之為假正類（False positive）。相應地，如果實例是負類被預測成負類，稱之為真負類（True negative）,正類被預測成負類則為假負類（false negative）。
TP：正確肯定的數(shù)目；
FN：漏報，沒有正確找到的匹配的數(shù)目；
FP：誤報，給出的匹配是不正確的；
TN：正確拒絕的非匹配對數(shù)；
列聯(lián)表如下表所示，1代表正類，0代表負類。
| 預測 | ||||
| 1 | 0 | 合計 | ||
| 實際 | 1 | True Positive（TP） | False Negative（FN） | Actual Positive(TP+FN) |
| 0 | False Positive（FP) | True Negative(TN) | Actual Negative(FP+TN) | |
| 合計 | Predicted Positive(TP+FP) | Predicted Negative(FN+TN) | TP+FP+FN+TN |
從列聯(lián)表引入兩個新名詞。其一是真正類率(true positive rate ,TPR), 計算公式為TPR=TP/ (TP+FN)，刻畫的是分類器所識別出的 正實例占所有正實例的比例。另外一個是負正類率(false positive rate,FPR),計算公式為FPR= FP / (FP + TN)，計算的是分類器錯認為正類的負實例占所有負實例的比例。還有一個真負類率（True Negative Rate，TNR），也稱為specificity,計算公式為TNR=TN/ (FP+TN) = 1-FPR。
其中，兩列True matches和True non-match分別代表應該匹配上和不應該匹配上的
兩行Pred matches和Pred non-match分別代表預測匹配上和預測不匹配上的
在一個二分類模型中，對于所得到的連續(xù)結(jié)果，假設已確定一個閥值，比如說 0.6，大于這個值的實例劃歸為正類，小于這個值則劃到負類中。如果減小閥值，減到0.5，固然能識別出更多的正類，也就是提高了識別出的正例占所有正例 的比類，即TPR,但同時也將更多的負實例當作了正實例，即提高了FPR。為了形象化這一變化，在此引入ROC，ROC曲線可以用于評價一個分類器。
橫軸FPR: 1-TNR,1-Specificity， FPR越大，預測正類中實際負類越多。
縱軸TPR：Sensitivity(正類覆蓋率),TPR越大，預測正類中實際正類越多。
理想目標：TPR=1，F(xiàn)PR=0,即圖中(0,1)點，故ROC曲線越靠攏(0,1)點，越偏離45度對角線越好，Sensitivity、Specificity越大效果越好。
ROC曲線和它相關的比率
(a)理想情況下，TPR應該接近1，F(xiàn)PR應該接近0。
ROC曲線上的每一個點對應于一個threshold，對于一個分類器，每個threshold下會有一個TPR和FPR。
比如Threshold最大時，TP=FP=0，對應于原點；Threshold最小時，TN=FN=0，對應于右上角的點(1,1)
(b)P和N得分不作為特征間距離d的一個函數(shù)，隨著閾值theta增加，TP和FP都增加
Receiver Operating Characteristic,翻譯為"接受者操作特性曲線"，夠拗口的。曲線由兩個變量1-specificity 和 Sensitivity繪制. 1-specificity=FPR，即負正類率。Sensitivity即是真正類率，TPR(True positive rate),反映了正類覆蓋程度。這個組合以1-specificity對sensitivity,即是以代價(costs)對收益(benefits)。
此外，ROC曲線還可以用來計算“均值平均精度”（mean average precision），這是當你通過改變閾值來選擇最好的結(jié)果時所得到的平均精度（PPV）.
下表是一個邏輯回歸得到的結(jié)果。將得到的實數(shù)值按大到小劃分成10個個數(shù) 相同的部分。
| Percentile | 實例數(shù) | 正例數(shù) | 1-特異度(%) | 敏感度(%) |
| 10 | 6180 | 4879 | 2.73 | 34.64 |
| 20 | 6180 | 2804 | 9.80 | 54.55 |
| 30 | 6180 | 2165 | 18.22 | 69.92 |
| 40 | 6180 | 1506 | 28.01 | 80.62 |
| 50 | 6180 | 987 | 38.90 | 87.62 |
| 60 | 6180 | 529 | 50.74 | 91.38 |
| 70 | 6180 | 365 | 62.93 | 93.97 |
| 80 | 6180 | 294 | 75.26 | 96.06 |
| 90 | 6180 | 297 | 87.59 | 98.17 |
| 100 | 6177 | 258 | 100.00 | 100.00 |
其正例數(shù)為此部分里實際的正類數(shù)。也就是說，將邏輯回歸得到的結(jié) 果按從大到小排列，倘若以前10%的數(shù)值作為閥值，即將前10%的實例都劃歸為正類，6180個。其中，正確的個數(shù)為4879個，占所有正類的 4879/14084*100%=34.64%，即敏感度；另外，有6180-4879=1301個負實例被錯劃為正類，占所有負類的1301 /47713*100%=2.73%,即1-特異度。以這兩組值分別作為x值和y值，在excel中作散點圖。
二 如何畫roc曲線
假設已經(jīng)得出一系列樣本被劃分為正類的概率，然后按照大小排序，下圖是一個示例，圖中共有20個測試樣本，“Class”一欄表示每個測試樣本真正的標簽（p表示正樣本，n表示負樣本），“Score”表示每個測試樣本屬于正樣本的概率。
接下來，我們從高到低，依次將“Score”值作為閾值threshold，當測試樣本屬于正樣本的概率大于或等于這個threshold時，我們認為它為正樣本，否則為負樣本。舉例來說，對于圖中的第4個樣本，其“Score”值為0.6，那么樣本1，2，3，4都被認為是正樣本，因為它們的“Score”值都大于等于0.6，而其他樣本則都認為是負樣本。每次選取一個不同的threshold，我們就可以得到一組FPR和TPR，即ROC曲線上的一點。這樣一來，我們一共得到了20組FPR和TPR的值，將它們畫在ROC曲線的結(jié)果如下圖：
AUC(Area under Curve)：Roc曲線下的面積，介于0.1和1之間。Auc作為數(shù)值可以直觀的評價分類器的好壞，值越大越好。
首先AUC值是一個概率值，當你隨機挑選一個正樣本以及負樣本，當前的分類算法根據(jù)計算得到的Score值將這個正樣本排在負樣本前面的概率就是AUC值，AUC值越大，當前分類算法越有可能將正樣本排在負樣本前面，從而能夠更好地分類。
二、AUC計算
1. 最直觀的，根據(jù)AUC這個名稱，我們知道，計算出ROC曲線下面的面積，就是AUC的值。事實上，這也是在早期 Machine Learning文獻中常見的AUC計算方法。由于我們的測試樣本是有限的。我們得到的AUC曲線必然是一個階梯狀的。因此，計算的AUC也就是這些階梯 下面的面積之和。這樣，我們先把score排序(假設score越大，此樣本屬于正類的概率越大)，然后一邊掃描就可以得到我們想要的AUC。但是，這么 做有個缺點，就是當多個測試樣本的score相等的時候，我們調(diào)整一下閾值，得到的不是曲線一個階梯往上或者往右的延展，而是斜著向上形成一個梯形。此 時，我們就需要計算這個梯形的面積。由此，我們可以看到，用這種方法計算AUC實際上是比較麻煩的。
2. 一個關于AUC的很有趣的性質(zhì)是，它和Wilcoxon-Mann-Witney Test是等價的。這個等價關系的證明留在下篇帖子中給出。而Wilcoxon-Mann-Witney Test就是測試任意給一個正類樣本和一個負類樣本，正類樣本的score有多大的概率大于負類樣本的score。有了這個定義，我們就得到了另外一中計 算AUC的辦法：得到這個概率。我們知道，在有限樣本中我們常用的得到概率的辦法就是通過頻率來估計之。這種估計隨著樣本規(guī)模的擴大而逐漸逼近真實值。這 和上面的方法中，樣本數(shù)越多，計算的AUC越準確類似，也和計算積分的時候，小區(qū)間劃分的越細，計算的越準確是同樣的道理。具體來說就是統(tǒng)計一下所有的 M×N(M為正類樣本的數(shù)目，N為負類樣本的數(shù)目)個正負樣本對中，有多少個組中的正樣本的score大于負樣本的score。當二元組中正負樣本的 score相等的時候，按照0.5計算。然后除以MN。實現(xiàn)這個方法的復雜度為O(n^2)。n為樣本數(shù)（即n=M+N）
3. 第三種方法實際上和上述第二種方法是一樣的，但是復雜度減小了。它也是首先對score從大到小排序，然后令最大score對應的sample 的rank為n，第二大score對應sample的rank為n-1，以此類推。然后把所有的正類樣本的rank相加，再減去M-1種兩個正樣本組合的情況。得到的就是所有的樣本中有多少對正類樣本的score大于負類樣本的score。然后再除以M×N。即
公式解釋：
1、為了求的組合中正樣本的score值大于負樣本，如果所有的正樣本score值都是大于負樣本的，那么第一位與任意的進行組合score值都要大，我們?nèi)∷膔ank值為n，但是n-1中有M-1是正樣例和正樣例的組合這種是不在統(tǒng)計范圍內(nèi)的（為計算方便我們?nèi)組，相應的不符合的有M個），所以要減掉，那么同理排在第二位的n-1，會有M-1個是不滿足的，依次類推，故得到后面的公式M*(M+1)/2，我們可以驗證在正樣本score都大于負樣本的假設下，AUC的值為1
2、根據(jù)上面的解釋，不難得出，rank的值代表的是能夠產(chǎn)生score前大后小的這樣的組合數(shù)，但是這里包含了（正，正）的情況，所以要減去這樣的組（即排在它后面正例的個數(shù)），即可得到上面的公式
另外，特別需要注意的是，再存在score相等的情況時，對相等score的樣本，需要 賦予相同的rank(無論這個相等的score是出現(xiàn)在同類樣本還是不同類的樣本之間，都需要這樣處理)。具體操作就是再把所有這些score相等的樣本 的rank取平均。然后再使用上述公式。
AUC（Area Under Curve）被定義為ROC曲線下的面積，顯然這個面積的數(shù)值不會大于1。又由于ROC曲線一般都處于y=x這條直線的上方，所以AUC的取值范圍在0.5和1之間。使用AUC值作為評價標準是因為很多時候ROC曲線并不能清晰的說明哪個分類器的效果更好，而作為一個數(shù)值，對應AUC更大的分類器效果更好。
機器學習實踐中分類器常用的評價指標就是auc，不想搞懂，簡單用的話，記住一句話就行
auc取值范圍[0.5,1]，越大表示越好，小于0.5的把結(jié)果取反就行。
參考：http://blog.csdn.net/abcjennifer/article/details/7359370
https://www.zybuluo.com/frank-shaw/note/152851
總結(jié)
以上是生活随笔為你收集整理的ROC曲线-阈值评价标准的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 赞美厨艺好的句子73句
- 下一篇： 公司pip考核什么意思