全棧技術詳解1-個人貸款違約預測模型

• • 1.1數據介紹
  • 1.2業務分析
  • 1.3數據理解
  • 1.4數據整理
  • 1.5建立分析模型

教科書中一般提供了建模使用的寬表，我們學習的是建立一個邏輯回歸模型作預測。但是當我們面臨許多張原始客戶或帳戶數據表時，很可能手足無措。建模的人都知道構建建模寬表（屬于特征工程最重要的部分，但是和機器學習中常提到的變量擴增、變量壓縮算法是兩碼事）是商業數據分析最難、最耗時、最考驗數據科學家功底的環節。本案例使用一套真實的數據集為大家演示貸款違約預測模型開發的全流程。這個流程就是本書第1章介紹的數據挖掘項目的分析思路的直接體現，如圖4-98所示。
圖4-98

1.1數據介紹

本數據為一家銀行的個人金融業務數據集，可以作為銀行場景下進行個人客戶業務分析和數據挖掘的示例。這份數據中涉及到5300個銀行客戶的100萬筆的交易，而且涉及700份貸款信息與近900張信用卡的數據。通過分析這份數據可以獲取與銀行服務相關的業務知識。例如，提供增值服務的銀行客戶經理，希望明確哪些客戶有更多的業務需求，而風險管理的業務人員可以及早發現貸款的潛在損失。

• 賬戶表（Accounts）：每條記錄描述了一個賬戶（account_id）的靜態信息，共4500條記錄；
  
  ● 顧客信息表（Clients）：每條記錄描述了一個客戶（client_id）的特征信息，共5369條記錄；
  
  ● 權限分配表（Disp）：每條記錄描述了顧客（client_id）和賬戶（account_id）之間的關系，以及客戶操作賬戶的權限，共5369條記錄；
  
  ● 支付訂單表（Orders）：每條記錄代表描述了一個支付命令，共6471條記錄；
  
  ● 交易表（Trans）：每條記錄代表每個賬戶（account_id）上的一條交易，共1056320條記錄；
  
  ● 貸款表（Loans）：每條記錄代表某個賬戶（account_id）的上的一條貸款信息，共682條記錄；
  
  ● 信用卡（Cards）：每條記錄描述了一個顧客號的信用卡信息，共892條記錄；
  
  ● 人口地區統計表（District）：每條記錄描述了一個地區的人口統計學信息，共77條記錄。
  
  實際業務中的一個人可以擁有多個賬戶號（account_id），一個賬戶號（account_id）可以對應有多個顧客（client_id），即多個顧客共享一個賬戶號（account_id），但是每個帳戶號（account_id）的所有者（即最高權限者）只能是一人。賬戶號（account_id）與客戶號（client_id）的對應關系，在表“Disposition”中進行列示；表“Loan”為銀行提供給賬戶號（account_id）的服務；表“Credit card”為銀行提供給的顧客（client_id）的服務，每個客戶可以申請一張信用卡；貸款為基于賬戶的服務，一個賬戶（account_id）在一個時點最多只能有一筆貸款。

關系實體圖（E-R圖）可以直觀的描述表間關系，如圖4-99所示。圖中將每張表的主鍵與外鍵通過實線相連接，可以明確指導我們如何將表進行橫向連接。比如要知道貸款客戶的性別，就需要使用貸款表（Loan）中的account_id先與權限分配表（Disposition）中的account_id連接，然后再拿client_id和客戶表（Client）中的client_id連接。


圖4-99

1.2業務分析

在貸款審批方面，如果可以通過構建量化模型對客戶的信用等級進行一定的區分。在信貸資金管理方面，得知了每個賬戶的違約概率后，可以預估一下未來的壞賬比例，及時做好資金安排。也可以對違約概可能性較高的客戶進行更加頻繁的“關懷”，及時發現問題，以避免損失。

在這個量化模型中，被解釋變量為二分類變量，因此需要構建一個排序類分類模型。而排序類分類模型中最長使用的算法是邏輯回歸。

1.3數據理解

建模分析中，獲取預測變量是最為艱難的。需要根據建模的主題進行變量的提取。其中第一步稱為維度分析，即采集的數據涉及哪些大的方面。如下圖所示：

有商業智能（BI）經驗的人初次接觸維度分析這個概念，會聯想起聯機分析處理（OLAP），這兩個概念有相通之處。后者是為業務分析服務的，因此，將信息歸結到公司各級部門這個粒度。比如某支行、分行或總行的某業務數量。數據挖掘的維度分析會更為廣泛，是指將數據按照研究對象進行信息提取的工作。比如，如果需要研究的是個人客戶的消費行為，則需要將數據以客戶為粒度進行歸結。這樣問題就來了，銀行保存的客戶數據非常多，如何去整理這些數據以獲取合適的信息，而且單獨從內部獲取數據是否可以滿足分析的需求？為了回答這些問題，需要對研究的問題進行深入研究，以明確研究需要的客戶信息。不同的分析主題需要的客戶信息是不同的，以下提供了一個信息獲取的框架，在實際操作中可以按照以下4個方面進行考慮。

1、屬性表征信息：在分析個人客戶時，也被稱為人口統計信息。主要涉及最基本的性別、出生日期的信息。這類指標對客戶的行為預測并不具有因果關系，只是根據歷史數據統計而得到的規律。比如，隨著客戶年齡的提高，會對房貸、消費貸款、教育儲蓄、個人理財等產品依次產生需求，但是年齡并不是對產品需求的根本原因，其實婚齡才是其原因。只不過婚齡和年齡在同時期人群中是高度相關罷了。同理，性別和某種業務表現的高相關性，很多也來自于外部世界對性別類型的一種行為期望。這類數據對于銀行、汽車4S店這類需要客戶臨柜填寫表格的公司而言是可以獲取“真實”信息的，而對于電商而言，是難以獲取“真實”信息的。但是電商的分析人員也不必氣餒，其實“真實”這個概念是有很多內涵的，根據電商數據雖然不能知道客戶人口學上的“真實”年齡，但是根據其消費行為完全可以刻畫出其消費心理上的“真實”年齡，而后者在預測客戶需求和行為方面更有效。

2、行為信息：行為是內部需求在外部特定環境下的一種表現。首先，行為是內部需求的結果。比如，活期存款的客戶將手頭的錢存起來，應付不時之需的需求。其次，這些行為是在特定環境下表現出來的，在活期理財產品推出之前，活期存款是唯一的選擇。對于銀行而言，行為數據僅限于業務數據，而電信公司可以獲取的行為數據更加廣泛，不僅可以獲取通話行為、上網行為等業務信息，還可以獲取周末出行、業余生活等個人行為信息。獲取的客戶行為信息越多，對客戶的了解越深入。在這方面，各類企業都具有很大的深挖潛力。由于行為數據均為詳細記錄，數量龐大，而建模數據是一個樣本只能有一條記錄，因此需要對行為數據依照RFM方法進行行為信息的提取，比如過去一年的帳戶余額就是按照”M”計算得到的，這類變量會稱為一級衍生變量。這還不夠，比如要看帳戶余額是否有增長趨勢，就要計算過去一年每月的平均帳戶余額，然后計算前后兩月平均帳戶余額增長率的均值，這個變量就被稱為二級衍生變量。行為信息的提取可以按照RFM方法做到三級甚至四級衍生變量。

3、狀態信息：指客戶的社會經濟狀態和社會網絡關系。社會學認為，人之所以為特定的人，就在于其被固化在特定的關系之中，這被稱為嵌入理論。了解客戶的社會關系，就了解了外界對該客戶的期望，進而推斷出其需求。通過深入的分析，甚至可以推斷出客戶未來的需求，達到比客戶更了解自己的狀態。在這方面，有些企業走在了前面。比如，電信企業通過通話和短信行為確定客戶的交友圈，通過信號地理信息定位客戶的工作、生活和休閑區域，來推測其工作類型、所處階層和社交網絡類型。有些企業剛剛起步，只是通過客戶住址大致確定一下客戶居住小區的檔次，以確定其社會經濟地位。這類信息是值得每個以客戶為中心的企業花時間和精力去深挖的。

4、利益信息：如果可以知道客戶的內在需求，這當然是最理想的，而這類數據獲取方式是很匱乏的。傳統方式只能通過市場調研、客戶呼入或客戶投訴得到相關數據。現在利用客服、微信公眾號、微博、論壇等留言信息，可以便捷的獲取客戶評價信息。

以上的構建變量的準則是放之四海而皆準的，而具體到違約預測的這個主題種，還需要更有針對性的分析，以往的研究認為影響違約的主要因素有還款能力不足和還款意愿不足兩個方面。還款意愿不足有可能是欲望大于能力、生活狀態不穩定。以上是概念分析，之后就需要量化，比如使用“資產余額的變異系數”作為生活狀態不穩定的代理指標。

在建模過程中，有預測價值的變量基本都是衍生變量，比如：

一級衍生，比如最近一年每月的資產余額均值來自于交易數據中每月的帳戶余額；

二級衍生，比如年度資產余額的波動率來自于每月的資產余額均值；

三級衍生，比如資產余額的變異系數來自資產余額的波動率除以資產余額均值。

大數據元年之前，在數據科學中有一個不成文的規定：如果一個模型中二級以上的衍生變量不達到80%以上的比例，是不好意思提交成果的。老牌數據分析強公司（比如美國的第一資本）基本上是以每人每月約20-50個衍生變量的速度積累十年才擁有所謂的萬級別的衍生變量。而2016年興起的所謂智能自學習建模，宣稱使用原始指標放入模型建模。筆者認為是偽數據科學家大量涌入到這個行業而興起的一股逆流，就像房地產火熱時期許多投機者涌入造成了建筑質量的大幅度下滑。這個現象必將會回歸到以分析作為根底的本源，而非炫耀技術。

1.4數據整理

以上介紹了維度分析要注意的主要方面，下面將根據維度分析的框架創建建模用變量。不過我們不要期望可以創建起全部四個維度的變量，一般前三個維度足矣。首先生成被解釋變量。在貸款（Loans）表中還款狀態（status）變量記錄了客戶的貸款償還情況，其中A代表合同終止且正常還款，B代表合同終止但是未還款，C代表合同未結束且正常還款，D代表合同未結束但是已經拖欠貸款了。我們以此構造一個客戶行為信用評級模型，以預測其他客戶貸款違約的概率。

1、數據提取中的取數窗口

我們分析的變量按照時間變化情況可以分為動態變量和靜態變量，屬性變量（比如性別、是否90后）一般是靜態變量，行為、狀態和利益變量均屬于動態變量。動態變量還分為時點變量和區間變量，狀態變量（比如當前帳戶余額、是否破產）和利益變量（對某產品的訴求）均屬于時點變量。行為變量（存款頻次、平均帳戶余額的增長率）為區間變量。在建造模型過程中，需要按照下圖所示的取數窗口提取變量。其中有兩個重要的時間窗口：觀察窗口，預測窗口。觀察窗口是觀測和收集供分析的自變量的時間段。預測窗口是觀測因變量變化的時間段，如果在這個時間段中出現顯性狀態（比如出現貸款拖欠）則設置為”1”，如果始終沒有出現，則設置為”0”。

取數窗口期的長短和模型易用性是一對矛盾: 窗口期越短，缺失值越少、可分析的樣本就越多、越便于使用。但是區間變量單個變量的觀測期越短，數據越不穩定，這樣難以獲得穩健的參數。但是取數窗口期越長，新的客戶就因為變量缺失而無法納入到研究樣本。因此取數窗口的長短是需要根據建模面臨的任務靈活調整。本案例中的觀測窗口定為一年。

同樣的，預測窗口可長可短，取決于構建什么樣的模型，以及目標變量是什么。通常，越長的預測窗口樣本量越少。然而，預測窗口過短則有些客戶的最終結果還沒有表現出來，即在這種情況下，模型的所預測的結果顯現之時，現實中的商業還未有足夠時間做出反應。本書并非標準的信用評級的教科書，因此沒有嚴格按照信用評級模型的取數窗口進行設置，需要深入學習的讀者請參考《信用風險評分卡研究:基于SAS的開發與實施》。

2、利用pandas導入可用于建模的樣本數據，利用Loans表生成被解釋變量。如圖4-101，4-402所示。


圖4-101
3、表征信息：將所有維度的信息歸結到貸款表（LOANS）上，每個貸款帳戶只有一條記錄。尋找有預測能力的指標。首先是客戶表征信息如性別，年齡。客戶的人口信息保存在客戶信息表（ClIENTS）表中，但是該表是以客戶為主鍵的，需要和權限分配表（DISP）相連接才可以獲得賬號級別的信息，連接條件如圖4-103和圖104所示。

圖4-103

圖4-104
4、狀態信息：提取借款人居住地情況，如居住地失業率等變量。與district表進行連接。

圖4-104
5、行為信息：根據客戶的帳戶變動的行為信息，考察借款人還款能力，如賬戶平均余額、余額的標準差、變異系數、平均入賬和平均支出的比例、貸存比等。

首先將貸款表和交易表按照account_id內連接。

然后將來自貸款表和交易表中的兩個字符串類型的日期變量轉換為日期，為窗口取數作準備。

帳戶余額和交易額度這兩個為字符變量，有千分位符，需要進行數據清洗，并轉化為數值類型。

以下這個語句實現了窗口取數，只保留了貸款日期前365天至貸款前1天內的交易數據。

以下語句計算了每個貸款帳戶貸款前一年的平均帳戶余額（代表財富水平）、帳戶余額的標準差（代表財富穩定情況）和變異系數（代表財富穩定情況的另一個指標）。

以下語句計算平均入賬和平均支出的比例。首先按照上一步時間窗口取數得到的數據集，按照每個帳戶的“借-貸”類型分別匯總交易金額。

上一步匯總后的數據，每個帳號會有兩條記錄，需要將其進行拆分列操作，將每個帳戶兩條觀測轉換為每個帳戶一條觀測。以下語句中使用pd.pivot_table函數進行堆疊列。
以下語句將分別計算的平均帳戶余額、帳戶余額的標準差、變異系數、平均入賬和平均支出的比例等變量與之前的data3數據合并。

最后計算貸存比、貸收比。

1.5建立分析模型

這部分是從信息中獲取知識的過程。數據挖掘方法分為分類和描述兩大類，其中預測賬戶的違約情況屬于分類模型。使用邏輯回歸對剛才創建的數據建立模型，建模語句如下。

1）提取狀態為C的用于預測。其它樣本隨機抽樣，建立訓練集與測試集。

通過以上語句得到結果。以下列出了邏輯回歸的模型參數表。其中申請貸款前一年的貸存比（r_lb）、存款余額的標準差（stdev_balance）、貸款期限（duration）與違約正相關。存款余額的均值（avg_balance）、貸款者當地1000人中有多少企業家（A14）與違約負相關。以上這些回歸系數的正負號均符合我們的預期，而且均顯著。

3）模型效果評估

以下使用測試數據進行模型效果評估。此處調用了sklearn的評估模塊繪制ROC曲線。

可以看到模型的ROC曲線非常接近左上角，其曲線下面積（AUC）為0.9435，這說明模型的排序能力很強。

1.6模型運用
在這個案例中，貸款狀態為”C”的帳戶是尚沒有出現違約的合同未到期客戶。這些貸款客戶中有些人的違約可能性較高，需要業務人員重點關注。一旦發現問題時，可以及時處理，挽回損失。可以通過以下語句得到每筆貸款的違約”概率”。

這里需要強調的是，此處的”概率”僅是代表違約可能性的相對值，并不代表其真實違約概率。比如預測“概率”為0.77的違約可能性高于0.46，這已經足夠了，因為業務人員知道哪些客戶為重點關注的即可。

1.7流程回顧
本例中,我們遵照數據挖掘項目通用的流程：CRISP-DM進行建模。最后回顧一下本案例的業務整理課表構建的流程。

1.業務分析：需要構建一個分類模型預測每個客戶的違約概率，其實是對客戶的信用進行一個排序。分類模型有很多種，其中邏輯回歸是最常用到的。

數據解讀：從業務需求出發，了解、熟悉現有的數據結構、數據質量等信息。主要尋找對客戶違約成本、還款意愿、還款能力（資產規模和穩定性）有代表意義的變量

數據準備：結合數據的內在價值與業務分析，提取各類有價值的信息，構建被解釋變量和解釋變量。

模型構建與評價：按照SEMMA標準算法，即數據抽樣、變量分布探索、修改變量、構建邏輯回歸、評價模型的優劣。

5．模型監控：當模型上線后，對模型的表現進行長期監控，主要檢驗模型預測準確性與數據的穩定性。

由于本章的重點在于介紹建模之前的寬表構建的部分，關于模型構建的細致化會在其他章節詳細講解，本章節此部分只提供一個粗略的流程。

其實在實際的工作中，上面提供的流程1-3的部分并不一定一次性做好，很多時候這部分是需要多次的反復驗證、反復解讀的。因為我們往往需要多次的分析審核，才能較好的理解拿到的數據、并且能夠識別出數據中的異常或錯誤的內容，而此部分若納入了錯誤的數據則會導致后面的如建模等工作完全沒有意義。

總結

以上是生活随笔為你收集整理的全栈技术详解1-个人贷款违约预测模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。