模型稳定度指标PSI 释义及计算示例
生活随笔
收集整理的這篇文章主要介紹了
模型稳定度指标PSI 释义及计算示例
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
穩定度指標(population stability index ,PSI)可衡量測試樣本及模型開發樣本評分的的分布差異,為最常見的模型穩定度評估指針。其實PSI表示的就是按分數分檔后,針對不同樣本,或者不同時間的樣本,population分布是否有變化,就是看各個分數區間內人數占總人數的占比是否有顯著變化
PSI小于0.1時候模型穩定性很高,0.1-0.2一般,需要進一步研究,大于0.2模型穩定性差,建議修復。
psi計算公式為:psi = sum((實際占比-預期占比)* ln(實際占比/預期占比))
示例:
有一個模型主要生成用戶分組,輸出參數為group01-group10,我們需要統計該模型是否穩定,以驗證我們的建模是否合適
第一步:統計總進件量(數據庫統計),如總進件量為3400條數據
第二步:將總進件量按區間統計出各分區間量
假如統計出的結果如下:
| group01 | 100 |
| group02 | 200 |
| group03 | 300 |
| group04 | 500 |
| group05 | 700 |
| group06 | 800 |
| group07 | 100 |
| group08 | 100 |
| group09 | 500 |
| group10 | 100 |
第三步:算出各區間占比(本區間數/總進件數)
| 實際占比 |
| 2.94% |
| 5.88% |
| 8.82% |
| 14.71% |
| 20.59% |
| 23.53% |
| 2.94% |
| 2.94% |
| 14.71% |
| 2.94% |
?
第四步:我們自己有一個期望占比
| 預期占比 |
| 2% |
| 8% |
| 13% |
| 17% |
| 18% |
| 6% |
| 11% |
| 9% |
| 13% |
| 3% |
?
第五步:計算各區間psi并最終進行求和,從結果來看我這個模型應該重做哈哈哈。不過我的預期占比是隨便寫的,所以才有這個結果。整體的計算流程就是這樣了,psi的計算公式為:psi = sum((實際占比-預期占比)* ln(實際占比/預期占比))
總結
以上是生活随笔為你收集整理的模型稳定度指标PSI 释义及计算示例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 『MongoDB』快速安装MongoDB
- 下一篇: Kubernetes学习之Deploym