?

? ? ? ?在風控領域的業務中，穩定性壓倒一切，一套風控模型正式上線運行后往往需要很久（通常一年以上）才會被替換下線。如果模型不穩定，意味著模型不可控，對于業務本身而言就是一種不確定性風險，直接影響決策的合理性，這是不可接受的。在機器學習構建風控模型時，我們基于假設“歷史樣本分布等于未來樣本分布”。因此，我們通常認為：

? ? ? ?模型或變量穩定 <=> 未來樣本分布與歷史樣本分布之間的偏差小。

? ? ? ?然而，實際中由于受到客群變化（互金市場用戶群體變化快）、數據源采集變化（比如爬蟲接口被風控了）等等因素影響，實際樣本分布將會發生偏移，就會導致模型不穩定。穩定度指標PSI（Population Stability Index）反映了驗證樣本在各分數段的分布與建模樣本分布的穩定性。可衡量測試樣本及模型開發樣本評分的的分布差異，為最常見的模型穩定度評估指針。其實PSI表示的就是按分數分檔后，針對不同樣本，或者不同時間的樣本，population分布是否有變化，就是看各個分數區間內人數占總人數的占比是否有顯著變化。

詳細示例公式如下，這里的AC與EX為不同時間段的模型輸出分數：?

指標解釋說明如下：

最終計算的PSI指標中：
若PSI<0.1 樣本分布有微小變化，模型基本可以不做調整；
若PSI 在0.1~0.2之間，樣本分布有變化，根據實際情況調整評分切點或調整模型；
若PSI>0.2，樣本分布有顯著變化，必須調整模型。

?

PSI的計算過程如下：

• step1：將變量預期分布（excepted）進行分箱（binning）離散化，統計各個分箱里的樣本占比；
  注意：
  a) 分箱可以是等頻、等距或其他方式，分箱方式不同，將導致計算結果略微有差異；
  b) 對于連續型變量（特征變量、模型分數等），分箱數需要設置合理，一般設為10或20；對于離散型變量，如果分箱太多可以提前考慮合并小分箱；分箱數太多，可能會導致每個分箱內的樣本量太少而失去統計意義；分箱數太少，又會導致計算結果精度降低；
• step2: 按相同分箱區間，對實際分布（actual）統計各分箱內的樣本占比；
• step3:計 算各分箱內的A - E和Ln(A / E)，計算index = (實際占比 - 預期占比）* ln(實際占比 / 預期占比) 。
• step4: 將各分箱的index進行求和，即得到最終的PSI；

使用表格計算PSI示例為：

? ? ? ?在業務生產中，一般以訓練集的樣本分布作為預期分布，進而跨時間窗按月/周來計算PSI，在模型上線部署后，也將通過PSI曲線報表來觀察模型的穩定性。測試基準日與建模基準日相隔越遠，測試樣本的風險特征和建模樣本的差異可能就越大，因此PSI值通常較高。至此也可以看出模型建的時間太長了，是不是需要重新用新樣本建模了。

?

風控模型不穩定時的排查方向，當通過PSI指標發現模型不穩定時，我們該如何去排查原因？引起模型不穩定的因素是多種多樣的，主要包括：

• 申貸客群變化：獲客渠道一般決定了客群質量，我們只是從客群的有限特征維度來大致判斷是否變化，但這只是有偏判斷，因為無法完全獲知用戶畫像。當然，在獲客階段也會做前置風控，預先篩選流量，以及保證客群的穩定。
• 數據源不穩定：先從CSI指標觀察入模特征的分數漂移，對于影響較大和偏移較大的變量予以重點關注。再從數據源上確認采集是否可靠，比如數據服務商是否正常提供、接口是否正常工作、網關數據傳輸過程是否正常等。
• 特征邏輯有誤：在模型上線時，特征邏輯可能沒有確認清楚，導致上線后出現意想不到的問題。因此，需要將入模特征的邏輯再次予以Review。
• 其他相關原因：模型監控報表是否正確計算？線上依賴于離線T+1產出的數據是否正常調度？特征缺失值處理邏輯？

?

?

?

參考鏈接：https://www.cnblogs.com/Allen-rg/p/11512095.html
參考鏈接：https://zhuanlan.zhihu.com/p/79682292

?

總結

以上是生活随笔為你收集整理的风控业务-模型稳定性评价指标PSI的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。