ROC,AUC
numpy中axis參數理解
1.混淆矩陣:
2.準確率=(TP+TN)/(TP+TN+FP+FN)
注::由于樣本不平衡的問題,導致了得到的高準確率結果含有很大的水分。即如果樣本不平衡,準確率就會失效。
3.精準率(precision,查準率)=TP/(TP+FP),針對預測結果而言
4.召回率(Recall,查全率)=TP/(TP+FN),針對原樣本而言
5.精準率和召回率的關系,F1Score=2?Precision?RecallPrecision+RecallF1Score=\frac{2*Precision*Recall}{Precision+Recall}F1Score=Precision+Recall2?Precision?Recall?
ROC/AUC的概念:
真正率(TPR) = 靈敏度(Sensitivity) = TP/(TP+FN) ?\Longrightarrow?召回率
假正率(FPR) = 1- 特異度(Specificity) = FP/(FP+TN)
ROC(接受者操作特征曲線)
ROC曲線中的主要兩個指標就是真正率和假正率,上面也解釋了這么選擇的好處所在。其中橫坐標為假正率(FPR),縱坐標為真正率(TPR),下面就是一個標準的ROC曲線圖。
AUC(曲線下的面積)
比較有意思的是,如果我們連接對角線,它的面積正好是0.5。對角線的實際含義是:隨機判斷響應與不響應,正負樣本覆蓋率應該都是50%,表示隨機效果。ROC曲線越陡越好,所以理想值就是1,一個正方形,而最差的隨機判斷都有0.5,所以一般AUC的值是介于0.5到1之間的。
AUC的一般判斷標準
0.5 - 0.7:效果較低,但用于預測股票已經很不錯了
0.7 - 0.85:效果一般
0.85 - 0.95:效果很好
0.95 - 1:效果非常好,但一般不太可能
以上文章來源于Python數據科學
總結
- 上一篇: 统计学习及监督学习概论
- 下一篇: 第3章 衡量线性回归的指标:MSE,RM