模型、数据分布稳定性
生活随笔
收集整理的這篇文章主要介紹了
模型、数据分布稳定性
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
模型穩定性:
群體穩定性指標(population stability index)
公式: psi = sum((實際占比-預期占比)* ln(實際占比/預期占比))
舉個例子解釋下,比如訓練一個logistic回歸模型,預測時候會有個類概率輸出,p。在你的測試數據集上的輸出設定為p1,將它從小到大排序后將數據集10等分(每組樣本數一直,此為等寬分組),計算每等分組的最大最小預測的類概率值。
現在你用這個模型去對新的樣本進行預測,預測結果叫p2,利用剛才在測試數據集上得到的10等分每等分的上下界。按p2將新樣本劃分為10分(不一定等分了哦)。
實際占比就是新樣本通過p2落在p1劃分出來的每等分界限內的占比,預期占比就是測試數據集上各等分樣本的占比。
意義就是如果模型更穩定,那么在新的數據上預測所得類概率應該更建模分布一致,這樣落在建模數據集所得的類概率所劃分的等分區間上的樣本占比應該和建模時一樣,否則說明模型變化,一般來自預測變量結構變化。通常用作模型效果監測。
一般認為PSI小于0.1時候模型穩定性很高,0.1-0.2一般,需要進一步研究,大于0.2模型穩定性差,建議修復。
數據分布穩定性:
psi = sum((樣本A分布占比-樣本B分布占比)* ln(樣本A分布占比/樣本B分布占比))
總結
以上是生活随笔為你收集整理的模型、数据分布稳定性的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ArduinoIDE初步开发ESP826
- 下一篇: 从你的全世界路过- 告白气球