模型稳定度指标PSI
?群體穩(wěn)定性指標(biāo)PSI(Population?Stability?Index)是衡量模型的預(yù)測值與實(shí)際值偏差大小的指標(biāo)。
PSI = sum((實(shí)際占比-預(yù)期占比)* ln(實(shí)際占比/預(yù)期占比))
舉例:
比如訓(xùn)練一個(gè)logistic回歸模型,預(yù)測時(shí)候會(huì)有個(gè)概率輸出p。
測試集上的輸出設(shè)定為p1吧,將它從小到大排序后10等分,如0-0.1,0.1-0.2,......。
現(xiàn)在用這個(gè)模型去對新的樣本進(jìn)行預(yù)測,預(yù)測結(jié)果叫p2,按p1的區(qū)間也劃分為10等分。
實(shí)際占比就是p2上在各區(qū)間的用戶占比,預(yù)期占比就是p1上各區(qū)間的用戶占比。
意義就是如果模型跟穩(wěn)定,那么p1和p2上各區(qū)間的用戶應(yīng)該是相近的,占比不會(huì)變動(dòng)很大,也就是預(yù)測出來的概率不會(huì)差距很大。
一般認(rèn)為PSI小于0.1時(shí)候模型穩(wěn)定性很高,0.1-0.25一般,大于0.25模型穩(wěn)定性差,建議重做。
PS:除了按概率值大小等距十等分外,還可以對概率排序后按數(shù)量十等分,兩種方法計(jì)算得到的psi可能有所區(qū)別但數(shù)值相差不大。
?
?
總結(jié)
以上是生活随笔為你收集整理的模型稳定度指标PSI的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 这些强大的数据分析软件你都知道吗?
- 下一篇: 计算机机房的监控,机房动环监控解决方案