【模型迭代】拒绝推断（RI）
問：項(xiàng)目剛上線，貸后表現(xiàn)也有了，能不能開發(fā)評(píng)分卡？
問：一般評(píng)分卡開發(fā)這塊怎么處理呢？就只針對(duì)準(zhǔn)入審批通過的客群?jiǎn)?#xff1f;
問：你們業(yè)務(wù)中，是直接用模型通過的樣本去迭代模型嗎？
問：拒絕推斷有什么好方法嗎？
??本文關(guān)鍵詞：
??① 冷啟動(dòng)?② 選擇偏差?③ 模型失效?④ 樣本補(bǔ)齊?⑤拒絕推斷
??評(píng)分模型開發(fā)中，模型訓(xùn)練非常依賴樣本的選擇。負(fù)樣本不足，預(yù)測(cè)效果不好；負(fù)樣本太多，則可能過度學(xué)習(xí)，導(dǎo)致過擬合；部分特征的分布隨業(yè)務(wù)或時(shí)間的變化而發(fā)生變化，也會(huì)導(dǎo)致模型訓(xùn)練的結(jié)果發(fā)生偏移。
??我們先來思考三個(gè)場(chǎng)景：
??場(chǎng)景一：冷啟動(dòng)： 在業(yè)務(wù)初期，通常由于各種原因，風(fēng)控需要冷啟動(dòng)，如果沒有之前留存的或者外部協(xié)助開發(fā)的評(píng)分模型，那么就很難通過量化評(píng)分的手段參與授信決策。這時(shí)，就需要多維度的策略規(guī)則去篩選初期用戶，類似準(zhǔn)入規(guī)則、反欺詐規(guī)則、風(fēng)險(xiǎn)名單、多頭借貸、共債信息等。這個(gè)時(shí)候的審批策略，可能不一定行之有效，相當(dāng)于隨機(jī)選擇接受的客戶，那么接受樣本和拒絕樣本的分布所差無幾，這種情況下，EDA探索分析后如無明顯問題，首批有貸后表現(xiàn)的樣本，是可以直接投入模型開發(fā)的。
??場(chǎng)景二：規(guī)則影響 在業(yè)務(wù)開展一段時(shí)間后，信貸審批流程便會(huì)逐步添加包括反欺詐識(shí)別、策略規(guī)則、PRE_A過濾、授信評(píng)分、人工審批等內(nèi)容。隨著數(shù)據(jù)共聯(lián)的加強(qiáng)、數(shù)據(jù)維度的豐富、風(fēng)控策略的完善，審批環(huán)節(jié)的前置策略和規(guī)則在整個(gè)授信體系的作用愈加明顯。這個(gè)時(shí)候，通常為了開源節(jié)流，我們會(huì)以漏斗模型和決策樹模型去設(shè)計(jì)信貸風(fēng)險(xiǎn)體系。那么強(qiáng)規(guī)則拒絕的客戶，便不再需要通過評(píng)分模型的檢測(cè)。這就導(dǎo)致通過模型的用戶，已經(jīng)經(jīng)過了層層篩選，樣本本身攜帶的強(qiáng)負(fù)樣本信息，也經(jīng)過了層層過濾，那么，假如這個(gè)時(shí)候開發(fā)評(píng)分卡，雖然模型所選的特征基本不與前置規(guī)則重疊，特征分布不會(huì)受到影響，但Label中的負(fù)樣本占比，會(huì)大大降低。導(dǎo)致本應(yīng)有的極差的那些壞客戶的信息，沒有在模型中出現(xiàn)。這就引出本文第二個(gè)問題：“一般評(píng)分卡開發(fā)這塊怎么處理呢？就只針對(duì)準(zhǔn)入審批通過的客群?jiǎn)?#xff1f;”
??場(chǎng)景三：模型迭代 業(yè)務(wù)進(jìn)行的很順利，模型評(píng)分的作用越來越強(qiáng)，隨著時(shí)間推移，模型效果會(huì)隨之下降，就需要迭代模型，即重新選擇樣本，重新訓(xùn)練模型，重新設(shè)置評(píng)分區(qū)間，重新決策。因?yàn)橹挥心Ｐ蛯徟ㄟ^的客戶才會(huì)有貸后，才會(huì)有Label，所以，此刻在用這部分樣本進(jìn)行建模，受影響的不單單是負(fù)樣本數(shù)量的占比、負(fù)樣本信息的收集，整個(gè)模型的特征分布，也會(huì)發(fā)生很大的偏移。
??綜上幾個(gè)場(chǎng)景，我們發(fā)現(xiàn)：在做申請(qǐng)?jiān)u分卡時(shí)，受業(yè)務(wù)階段、授信流程、策略規(guī)則、通過率、樣本迭代等的影響，如果建模僅基于具有已知性能的可接受總體，則申請(qǐng)?jiān)u分卡具有自然發(fā)生的選擇偏差。自然樣本信息多多少少會(huì)有損失，機(jī)器學(xué)習(xí)模型效果偏移。因此，在每一次模型開發(fā)中，都需要檢測(cè)樣本的分布，必要的時(shí)候調(diào)整負(fù)樣本占比，使其盡可能降低偏差，達(dá)到均衡的效果。特征分布合理，且無缺失，好壞樣本信息得以完全學(xué)習(xí)，才會(huì)訓(xùn)練一個(gè)預(yù)測(cè)能力強(qiáng)穩(wěn)定性較高的模型。
??那么，為了解決選擇偏差問題，申請(qǐng)?jiān)u分卡模型應(yīng)該包含兩個(gè)人群。 這意味著需要推斷拒絕的未知性能，我們使用拒絕推斷（RI）方法來完成，也就是拒絕假設(shè)、拒絕演繹。
??評(píng)分卡開發(fā)過程中，拒絕推斷的大致步驟為：
- ① 基于接受樣本構(gòu)建模型 ：BM（Base_Model）
- ② 使用拒絕推斷技術(shù)推斷拒絕樣本違約概率
- ③ 將接受樣本和拒絕推斷后的樣本合并成一個(gè)數(shù)據(jù)集：DS（DataSet）
- ④ 在DS上構(gòu)建一個(gè)新模型：FM（Final_Model）
- ⑤ 驗(yàn)證FM
- ⑥ 根據(jù)FM創(chuàng)建完整的評(píng)分卡模型
??拒絕推斷是對(duì)一種“非隨機(jī)性缺失數(shù)據(jù)”（MNAR）的處理形式。 總體來說有兩種廣泛的技術(shù)：分配法和增強(qiáng)法，一種依賴經(jīng)驗(yàn)，一種依賴算法。兩種技術(shù)還可以選擇不同的方法。如下圖所示：
??下面，著重介紹幾種比較流行的方法，即增量下探、比例分配、簡(jiǎn)單擴(kuò)展、模糊增擴(kuò)展、分段擴(kuò)展等。
（一）增量下探法
??下探法就是在生產(chǎn)環(huán)境中某一段時(shí)間內(nèi)，接受所有申請(qǐng)，積累全量數(shù)據(jù)。或者將模型評(píng)分cutoff的取值下移部分，讓更多的的申請(qǐng)通過審批。等該批客戶有了貸后表現(xiàn)，直接選擇全量樣本建模，這樣會(huì)縮小樣本數(shù)據(jù)和未來要預(yù)測(cè)的數(shù)據(jù)在分布上的偏差。下探法可能要承受較大的壞賬損失，有點(diǎn)花錢買數(shù)據(jù)的感覺，一般銀行和機(jī)構(gòu)通常不這么做，所以一般可用于通過率較高，壞賬率對(duì)應(yīng)也高的現(xiàn)金貸業(yè)務(wù)中。之前現(xiàn)金貸火爆的時(shí)候，行業(yè)監(jiān)管還沒到位，加之催收力度很強(qiáng)，所以壞賬可控，收益也就高。那時(shí)許多現(xiàn)金貸公司的風(fēng)控手段極其簡(jiǎn)陋，基本是驗(yàn)證身份、過一下黑名單等簡(jiǎn)單措施，通過率極高。這樣的環(huán)境相當(dāng)于提供了一個(gè)天然的數(shù)據(jù)收集實(shí)驗(yàn)場(chǎng)，各類樣本的信息都比較完整。實(shí)際生產(chǎn)環(huán)境表明，增量下探的效果很明顯。
（二）分配賦值法
??賦值法是指通過外部數(shù)據(jù)或人工的方法，為拒絕樣本打上好壞標(biāo)簽。比如比例分配；比如通過查看外部數(shù)據(jù)發(fā)現(xiàn)此人在其他機(jī)構(gòu)發(fā)生過很嚴(yán)重的違約行為，或者在多家機(jī)構(gòu)被打上了各種風(fēng)險(xiǎn)名單的標(biāo)簽，基于規(guī)則直接標(biāo)記。如果數(shù)據(jù)采集的成本不高，采集難度不大，這種方法可行且有效。（如：有些機(jī)構(gòu)的數(shù)據(jù)服務(wù)是以年費(fèi)形式，這樣成本便可忽略不計(jì)），不過，這種方法對(duì)增加標(biāo)簽定義維度的要求較高。另外還可以讓審批人員對(duì)拒絕客戶進(jìn)行電核復(fù)核，標(biāo)記出認(rèn)為違約可能性高的樣本，不過此種方法需要花費(fèi)很多的人力，且加入了主觀的人為因素，容易造成偏差。
??例：比例分配：
（三）擴(kuò)展法
??那么， 對(duì)模型師而言，最為常用的技術(shù)便是模型擴(kuò)展法，基于數(shù)據(jù)，創(chuàng)造數(shù)據(jù)。基本思路為先用接受樣本建模，然后預(yù)測(cè)拒絕樣本的好壞，最后將拒絕樣本和接受樣本放在一起重新建模。模型擴(kuò)展法有以下幾種。
1、簡(jiǎn)單擴(kuò)展法
??步驟：
- ① 在有貸后表現(xiàn)的樣本上建模。
- ② 用此模型預(yù)測(cè)拒絕樣本違約概率吧，設(shè)置閾值ppp，大于ppp為壞，小于ppp為好。閾值選擇的依據(jù)為拒絕樣本的壞賬率比接受樣本的壞賬率高，一般為2-5倍，當(dāng)然要結(jié)合客群特征、通過率等因素綜合考慮。該方法的一個(gè)缺點(diǎn)是，拒絕樣本的分類有一定的隨機(jī)性。
- ③ 將完成預(yù)測(cè)的拒絕樣本和真實(shí)貸后樣本混合，重新建模。
- ④ 重復(fù)②③，至模型參數(shù)收斂，一般迭代兩三次就能得到收斂模型。
2、模糊擴(kuò)展法
??模糊擴(kuò)展法并不是將拒絕樣本直接標(biāo)記為好或壞，而是根據(jù)打分概率將一個(gè)拒絕樣本拆分成一個(gè)好樣本和一個(gè)壞樣本，打分概率為權(quán)重。具體可以按以下步驟進(jìn)行：
- ① 在有貸后表現(xiàn)的樣本上建模。
- ② 用此模型為第iii個(gè)拒絕樣本打分Pi(bad概率)，然后將該拒絕樣本拆分成一個(gè)壞樣本和一個(gè)好樣本，壞樣本的權(quán)重為Pi，好樣本的權(quán)重為1-Pi，而每個(gè)接受樣本的權(quán)重均設(shè)置為1，這時(shí)可以根據(jù)權(quán)重計(jì)算壞賬率。還可以調(diào)整拆分后的拒絕樣本的權(quán)重，使拒絕樣本的壞賬率是接受樣本壞賬率的F倍，比如壞樣本的權(quán)重調(diào)整為PiC/(PiC+1-Pi)，好樣本的權(quán)重調(diào)整為(1-Pi)/(Pi*C+1-Pi)。
- ③ 將完成預(yù)測(cè)的拒絕樣本和真實(shí)貸后樣本混合，重新建模。
- ④ 重復(fù)②③，至模型參數(shù)收斂。
3、分段擴(kuò)展法（Parcelling）
??上述所說的簡(jiǎn)單擴(kuò)展，將拒絕樣本按照某個(gè)閾值采用一刀切的方式分成好樣本和壞樣本，這樣的切分使拒絕樣本的違約分布和接受樣本差別較大，而分段擴(kuò)展正好修正這一缺點(diǎn)。步驟如下：
- ① 在有貸后表現(xiàn)的樣本上建模。
- ② 然后為接受樣本和拒絕樣本打分score，下圖為每個(gè)評(píng)分區(qū)間內(nèi)接受樣本的違約分布和拒絕樣本的數(shù)量：
??接下來，按照各分?jǐn)?shù)段對(duì)拒絕樣本打標(biāo)簽。一般拒絕樣本的違約率高于接受樣本，這里假設(shè)拒絕樣本的違約率是同分?jǐn)?shù)段接受樣本的2倍。分段之后，按照簡(jiǎn)單擴(kuò)展法中的做法繼續(xù)進(jìn)行。下圖為打好標(biāo)簽的拒絕樣本的違約分布：
- ③ 將②中打好標(biāo)簽的拒絕樣本和接受樣本放在一起建模。
- ④ 重復(fù)②③，至模型參數(shù)收斂。
4、其他方法
??除了上述幾種方法，還有一些其他方法，比如可以通過近鄰(Nearest Neighbor)算法預(yù)測(cè)拒絕樣本的好壞，然后用拒絕樣本和接受樣本建立模型。
??不難想到，手段越復(fù)雜，推斷效果越不明顯，甚至比原有模型效果更差。排除成本環(huán)境等因素的考慮，最直接高效的方法，仍然是增量下探，將更多的壞樣本放入模型。其次，采用半賦值半擴(kuò)展的方式，也許也會(huì)收獲較好的效果。
??完成拒絕推斷后，檢驗(yàn)效果的方式依舊是我們熟知的分段Bad_rate&方法以及KS、PSI等指標(biāo)，不再贅述。
??就本文主要內(nèi)容做如下兩方面的總結(jié)：
??1）什么時(shí)候做拒絕推斷？：
?? ① 前置規(guī)則少，或者前置策略不是很有效的情況下，接受樣本和拒絕樣本的分布應(yīng)該差別不大，就沒必要做拒絕推斷。
?? ② 相反，前置審批策略越有效，接受樣本和拒絕樣本的特征分布差別就越大，那么就越有必要做拒絕推斷。
??2）拒絕推斷采用什么方法？：
?? 按照效果排序優(yōu)先級(jí)：
?? ① 首先考慮增加真實(shí)業(yè)務(wù)樣本，在老板允許的情況下，增量下探，探個(gè)究竟。
?? ② 其次盡可能分配賦值，基于強(qiáng)特征和比例采集等方法打出標(biāo)簽，效果也很欣慰。
?? ③ 采用簡(jiǎn)單擴(kuò)展、拆分?jǐn)U展、分段擴(kuò)展的方式，基于樣本，訓(xùn)練樣本。
?? ④ 最后，做一些半監(jiān)督或者無監(jiān)督的嘗試。
??其實(shí)，拒絕推斷一直存在爭(zhēng)議，有人認(rèn)為沒必要做，有人認(rèn)為有必要做。但在條件允許的情況下，比如若有充足的數(shù)據(jù)和時(shí)間，嘗試做一下，兩者做出來的結(jié)果做個(gè)對(duì)比，總不是壞事。另外做拒絕推斷也是為了更多更準(zhǔn)確地找出好客戶，降低成本，提高收益。
【參考】
- ① 大數(shù)據(jù)建模的一點(diǎn)一滴，作者：小石頭 https://mp.weixin.qq.com/s/RnQXPUBJe8-NUvtPDho0vw
- ②申請(qǐng)?jiān)u分卡模型中的拒絕推斷（RI）技術(shù)，作者：豬邏輯公園 https://blog.csdn.net/qq_15111861/article/details/84663490
- ③ 研習(xí)社群成員
??對(duì)數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)、金融風(fēng)控等感興趣的小伙伴，需要數(shù)據(jù)集、代碼、行業(yè)報(bào)告等各類學(xué)習(xí)資料，可添加微信：wu805686220（記得要備注喔！），也可關(guān)注微信公眾號(hào)：風(fēng)控圏子（別打錯(cuò)字，是圏子，不是圈子，算了直接復(fù)制吧！）
關(guān)注公眾號(hào)后，可聯(lián)系圈子助手加入如下社群：
- 機(jī)器學(xué)習(xí)風(fēng)控討論群（微信群）
- 反欺詐討論群（微信群）
- python學(xué)習(xí)交流群（微信群）
- 研習(xí)社資料（qq群：102755159）（干貨、資料、項(xiàng)目、代碼、報(bào)告、課件）
相互學(xué)習(xí)，共同成長。
總結(jié)
以上是生活随笔為你收集整理的【模型迭代】拒绝推断（RI）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【风控策略】（未完成）策略规则与模型评分
- 下一篇： 【模型调优】（未完成）算法调参