【数据竞赛】Kaggle实战之单类别变量特征工程总结！
作者：塵沙杰少、櫻落、新峰、DOTA、謝嘉嘉
特征工程--類別變量完結(jié)篇！
前 言
這是一個(gè)系列篇，后續(xù)我們會(huì)按照我們第一章中的框架進(jìn)行更新，因?yàn)榇蠹移綍r(shí)都較忙，不會(huì)定期更新，如有興趣歡迎長(zhǎng)期關(guān)注我們的公眾號(hào)，如有任何建議可以在評(píng)論區(qū)留言，該系列以往的經(jīng)典內(nèi)容可參考下面的篇章。
1. kaggle競(jìng)賽寶典-競(jìng)賽框架篇！
2.1?賽題理解，分析，規(guī)劃之賽題理解與分析!
2.2??kaggle競(jìng)賽寶典-回歸相關(guān)指標(biāo)優(yōu)化!
2.3??kaggle競(jìng)賽寶典-二分類相關(guān)指標(biāo)優(yōu)化！
2.4??kaggle競(jìng)賽寶典-多分類相關(guān)指標(biāo)優(yōu)化！
2.5?數(shù)據(jù)競(jìng)賽規(guī)劃!
3.1?數(shù)據(jù)探索分析-全局?jǐn)?shù)據(jù)探索分析!
3.2?數(shù)據(jù)探索分析-單變量數(shù)據(jù)分析!
3.3 數(shù)據(jù)探索分析-交叉變量分析篇！
3.4?訓(xùn)練集測(cè)試集分布不一致性探索!
4.1?kaggle競(jìng)賽寶典-樣本篩選篇！
4.2?kaggle競(jìng)賽寶典-樣本組織篇！
5. 驗(yàn)證策略設(shè)計(jì)!
6.1. 模型理解、選擇--GBDT!
6.2.模型理解、選擇--XGBoost！
6.3.模型理解、選擇--LightGBM！
6.4.模型理解、選擇--CatBoost！
7.1 特征工程--為什么要做特征工程！
前言
在之前的文章中，我們已經(jīng)介紹過部分類別特征編碼的內(nèi)容，此處，我們將所有的內(nèi)容進(jìn)行整合為一個(gè)系列，我們不羅列過多的知識(shí)點(diǎn)，重點(diǎn)介紹在kaggle過往幾年內(nèi)中大家最為常用有效的類別編碼技巧，如果對(duì)其它類型編碼感興趣的朋友可以學(xué)習(xí)擴(kuò)展部分的內(nèi)容。
類別特征編碼
在很多表格類的問題中，高基數(shù)的特征類別處理一直是一個(gè)困擾著很多人的問題，究竟哪一種操作是最好的，很難說，不同的數(shù)據(jù)集有不同的特性，可能某一種數(shù)據(jù)轉(zhuǎn)化操作這A數(shù)據(jù)集上取得了提升，但在B數(shù)據(jù)集上就不行了，但是知道的技巧越多，我們能取得提升的概率往往也會(huì)越大。此處我們會(huì)介紹幾種常見的處理類別特征的方法。
1. Label編碼
無序的類別變量，在很多時(shí)候是以字符串形式的出現(xiàn)的，例如：
顏色：紅色，綠色，黑色...
形狀：三角形，正方形，圓形...
而我們知道，梯度提升樹模型是無法對(duì)此類特征進(jìn)行處理的。直接將其輸入到模型就會(huì)報(bào)錯(cuò)。而這個(gè)時(shí)候最為常見的就是使用LabelEncoder對(duì)其進(jìn)行編碼。LabelEncoder可以將類型為object的變量轉(zhuǎn)變?yōu)閿?shù)值形式,具體的例子如下:
LabelEncoder默認(rèn)會(huì)先將object類型的變量進(jìn)行排序,然后按照大小順序進(jìn)行的編碼,此處N為該特征中不同變量的個(gè)數(shù)。幾乎所有的賽題中都會(huì)這么做，這樣做我們就可以將轉(zhuǎn)化后的特征輸入到模型，雖然這并不是模型最喜歡的形式，但是至少也可以吸收10%左右的信息，會(huì)總直接丟棄該變量的信息好很多。
對(duì)應(yīng)代碼：
from?sklearn?import?preprocessing df?=?pd.DataFrame({'color':['red','blue','black','green']}) le?=?preprocessing.LabelEncoder() le.fit(df['color'].values) df['color_labelencode']?=?le.transform(df['color'].values)? df| red | 3 |
| blue | 1 |
| black | 0 |
| green | 2 |
2. One-Hot編碼
One-Hot編碼對(duì)于一個(gè)類別特征變量，我們對(duì)每個(gè)類別，使用二進(jìn)制編碼（0或1）創(chuàng)建一個(gè)新列（有時(shí)稱為dummy變量），以表示特定行是否屬于該類別。One-Hot編碼可以將一個(gè)基數(shù)為的類別變量轉(zhuǎn)變?yōu)閭€(gè)二元向量，我們以上面的顏色為案例，進(jìn)行one-hot編碼之后就得到:
我們發(fā)現(xiàn)One-Hot編碼將我們的數(shù)據(jù)展開之后內(nèi)存的消耗變得非常大，因?yàn)槭褂肙ne-Hot編碼時(shí)需要?jiǎng)?chuàng)建額外的列，為我們需要編碼的特征列中的每個(gè)每個(gè)唯一值創(chuàng)建一個(gè)列。也就是說，如果我們有一個(gè)包含10000個(gè)不同值的類別特征，那么在One-Hot編碼之后將會(huì)生成10000個(gè)額外的新的列，這是不可以接受的。
但它的好處也非常明顯，One-Hot編碼之后，我們的線性模型可以更好的吸收High-Cadinality的類別信息，原先我們的采用線性模型，那么我們類別變量A的對(duì)預(yù)測(cè)帶來的貢獻(xiàn)為，， (A由(組成)我們發(fā)現(xiàn)類別2的貢獻(xiàn)就是類別1的一倍,這很明顯和我們的直覺不符,但是展開之后,我們類別變量A對(duì)預(yù)測(cè)帶來的貢獻(xiàn)為:。變量之間的關(guān)系變得更加合理了。所以O(shè)ne-Hot編碼對(duì)于很多線性模型是有必要的。
那么對(duì)于XGBoost，LightGBM之類的樹模型是否有必要呢？答案是有的！在我們的實(shí)踐中，很多時(shí)候?qū)Ω呋鶖?shù)的類別特征直接進(jìn)行One-Hot編碼的效果往往可能不如直接LabelEncoder來的好。但是當(dāng)我們的類別變量中有一些變量是人為構(gòu)造的，加入了很多噪音，這個(gè)時(shí)候?qū)⑵湔归_，那么模型可以更加快的找到那些非構(gòu)建的類別。(參考訊飛18年舉辦的推薦比賽)，取得更好的效果。
對(duì)應(yīng)代碼：
from?sklearn?import?preprocessing df?=?pd.DataFrame({'color':['red','blue','black','green']}) pd.get_dummies(df['color'].values)?| 0 | 0 | 0 | 1 |
| 0 | 1 | 0 | 0 |
| 1 | 0 | 0 | 0 |
| 0 | 0 | 1 | 0 |
3. Frequency編碼
Frequency編碼是數(shù)據(jù)競(jìng)賽中使用最為廣泛的技術(shù)，在90%以上的數(shù)據(jù)建模的問題中都可以帶來提升。因?yàn)樵诤芏嗟臅r(shí)候，頻率的信息與我們的目標(biāo)變量往往存在有一定關(guān)聯(lián)，例如：
在音樂推薦問題中，對(duì)于樂曲進(jìn)行Frequency編碼可以反映該樂曲的熱度，而熱度高的樂曲往往更受大家的歡迎；
在購物推薦問題中，對(duì)于商品進(jìn)行Frequency編碼可以反映該商品的熱度，而熱度高的商品大家也更樂于購買；
微軟設(shè)備被攻擊概率問題中，預(yù)測(cè)設(shè)備受攻擊的概率，那么設(shè)備安裝的軟件是非常重要的信息，此時(shí)安裝軟件的count編碼可以反映該軟件的流行度，越流行的產(chǎn)品的受眾越多，那么黑客往往會(huì)傾向?qū)Υ祟惍a(chǎn)品進(jìn)行攻擊，這樣黑客往往可以獲得更多的利益
Frequency編碼通過計(jì)算特征變量中每個(gè)值的出現(xiàn)次數(shù)來表示該特征的信息，詳細(xì)的案例如下所示:
在很多實(shí)踐問題中，Count編碼往往可以給模型的效果帶來不錯(cuò)的幫助。
對(duì)應(yīng)代碼：
from?sklearn?import?preprocessing df?=?pd.DataFrame({'color':['red','red','red','blue','blue','black','green','green','green']}) df['color_cnt']?=?df['color'].map(df['color'].value_counts()) df| red | 3 |
| red | 3 |
| red | 3 |
| blue | 2 |
| blue | 2 |
| black | 1 |
| green | 3 |
| green | 3 |
| green | 3 |
4. target編碼
target編碼是06年提出的一種結(jié)合標(biāo)簽進(jìn)行編碼的技術(shù)，它將類別特征替換為從標(biāo)簽衍生而來的特征，在類別特征為高基數(shù)的時(shí)候非常有效。該技術(shù)在非常多的數(shù)據(jù)競(jìng)賽中都取得了非常好的效果，但特別需要注意過擬合的問題。在kaggle競(jìng)賽中成功的案例有owen zhang的leave-one-out的操作和莫斯科GM的基于K-fold的mean-target編碼,此處我們介紹兩種Mean-target編碼;
4.1. Leave-one-out mean-target 編碼
Leave-one-out mean-target編碼的思路相對(duì)簡(jiǎn)單，我們每次編碼時(shí)，不考慮當(dāng)前樣本的情況，用其它樣本對(duì)應(yīng)的標(biāo)簽的均值作為我們的編碼，而測(cè)試集則用全部訓(xùn)練集樣本的均值進(jìn)行編碼，案例如下：
的案例摘自owen-zhang(曾經(jīng)的kaggle第一名)的分享。
對(duì)應(yīng)代碼：
from?sklearn?import?preprocessing from?pandas?import?pandas from?category_encoders.leave_one_out?import?LeaveOneOutEncoder df_tr?=?pd.DataFrame({'color':['red','red','red','red','red','red','black','black'],?'label':[1,0,1,1,0,1,1,0]})? df_te?=?pd.DataFrame({'color':['red','red','black']?})? loo?=?LeaveOneOutEncoder() loo.fit_transform(df_tr['color'],?df_tr['label'])| 0.6 |
| 0.8 |
| 0.6 |
| 0.6 |
| 0.8 |
| 0.6 |
| 0.0 |
| 1.0 |
| 0.666667 |
| 0.666667 |
| 0.500000 |
4.2. K-fold mean-target 編碼
K-fold mean-target編碼的基本思想來源于Mean target編碼。K-fold mean-target編碼的訓(xùn)練步驟如下，我們先將訓(xùn)練集劃分為K折;
在對(duì)第A折的樣本進(jìn)行編碼時(shí)，我們刪除K折中A折，并用剩余的數(shù)據(jù)計(jì)算如下公式:
后利用上面計(jì)算得到的值對(duì)第A折進(jìn)行編碼；
依次對(duì)所有折進(jìn)行編碼即可。
首先我們先理解一下上面的公式，最原始的Mean-target編碼是非常容易導(dǎo)致過擬合的，這其中過擬合的最大的原因之一在于對(duì)于一些特征列中出現(xiàn)次數(shù)很少的值過擬合了，比如某些值只有1個(gè)或者2到3個(gè)，但是這些樣本對(duì)應(yīng)的標(biāo)簽全部是1，怎么辦，他們的編碼值就應(yīng)該是1，但是很明顯這些值的統(tǒng)計(jì)意義不大，大家可以通過伯努利分布去計(jì)算概率來理解。而如果我們直接給他們編碼了，就會(huì)誤導(dǎo)模型的學(xué)習(xí)。那么我們?cè)撛趺崔k呢？
加正則！
于是我們就有了上面的計(jì)算式子，式子是值出現(xiàn)的次數(shù),是它對(duì)應(yīng)的概率，是全局的均值, 那么當(dāng)為0同時(shí)比較小的時(shí)候， 就會(huì)有大概率出現(xiàn)過擬合的現(xiàn)象，此時(shí)我們調(diào)大就可以緩解這一點(diǎn)，所以很多時(shí)候都需要不斷地去調(diào)整的值。
from?category_encoders.target_encoder?import?TargetEncoder? from?sklearn?import?base from?sklearn.model_selection?import?KFolddf?=?pd.DataFrame({'Feature':['A','B','B','B','B',?'A','B','A','A','B','A','A','B','A','A','B','B','B','A','A'],\'Target':[1,0,0,1,1,?1,0,0,0,0,1,?0,1,?0,1,0,0,0,1,1]})class?KFoldTargetEncoderTrain(base.BaseEstimator,?base.TransformerMixin):def?__init__(self,?colnames,targetName,n_fold=5,verbosity=True,discardOriginal_col=False):self.colnames???=?colnamesself.targetName?=?targetNameself.n_fold?????=?n_foldself.verbosity??=?verbosityself.discardOriginal_col?=?discardOriginal_coldef?fit(self,?X,?y=None):return?selfdef?transform(self,X):assert(type(self.targetName)?==?str)assert(type(self.colnames)?==?str)assert(self.colnames?in?X.columns)assert(self.targetName?in?X.columns)mean_of_target?=?X[self.targetName].mean()kf?=?KFold(n_splits?=?self.n_fold,?shuffle?=?False,?random_state=2019)col_mean_name?=?self.colnames?+?'_'?+?'Kfold_Target_Enc'X[col_mean_name]?=?np.nanfor?tr_ind,?val_ind?in?kf.split(X):X_tr,?X_val?=?X.iloc[tr_ind],?X.iloc[val_ind]?X.loc[X.index[val_ind],?col_mean_name]?=?X_val[self.colnames].map(X_tr.groupby(self.colnames)[self.targetName].mean())X[col_mean_name].fillna(mean_of_target,?inplace?=?True)if?self.verbosity:encoded_feature?=?X[col_mean_name].valuesprint('Correlation?between?the?new?feature,?{}?and,?{}?is?{}.'.format(col_mean_name,self.targetName,np.corrcoef(X[self.targetName].values,?encoded_feature)[0][1]))if?self.discardOriginal_col:X?=?X.drop(self.targetName,?axis=1)return?Xclass?KFoldTargetEncoderTest(base.BaseEstimator,?base.TransformerMixin):def?__init__(self,train,colNames,encodedName):self.train?=?trainself.colNames?=?colNamesself.encodedName?=?encodedNamedef?fit(self,?X,?y=None):return?selfdef?transform(self,X):mean?=?self.train[[self.colNames,self.encodedName]].groupby(self.colNames).mean().reset_index()?dd?=?{}for?index,?row?in?mean.iterrows():dd[row[self.colNames]]?=?row[self.encodedName]X[self.encodedName]?=?X[self.colNames]X?=?X.replace({self.encodedName:?dd})return?X '''?訓(xùn)練集編碼 ''' targetc???=?KFoldTargetEncoderTrain('Feature','Target',n_fold=5) new_train?=?targetc.fit_transform(df) new_train Correlation between the new feature, Feature_Kfold_Target_Enc and, Target is 0.11082358287080162.| A | 1 | 0.555556 |
| B | 0 | 0.285714 |
| B | 0 | 0.285714 |
| B | 1 | 0.285714 |
| B | 1 | 0.250000 |
| A | 1 | 0.625000 |
| B | 0 | 0.250000 |
| A | 0 | 0.625000 |
| A | 0 | 0.714286 |
| B | 0 | 0.333333 |
| A | 1 | 0.714286 |
| A | 0 | 0.714286 |
| B | 1 | 0.250000 |
| A | 0 | 0.625000 |
| A | 1 | 0.625000 |
| B | 0 | 0.250000 |
| B | 0 | 0.375000 |
| B | 0 | 0.375000 |
| A | 1 | 0.500000 |
| A | 1 | 0.500000 |
4.3. Beta Target編碼
Beta Target編碼來源于kaggle之前的競(jìng)賽Avito Demand Prediction Challenge第14名方案。該編碼和傳統(tǒng)Target Encoding不一樣，
Beta Target Encoding可以提取更多的特征，不僅僅是均值，還可以是方差等等；
在開源中，是沒有進(jìn)行N Fold提取特征的，所以可能在時(shí)間上提取會(huì)更快一些；
Beta Target編碼利用Beta分布作為共軛先驗(yàn)，對(duì)二元目標(biāo)變量進(jìn)行建模。Beta分布用和來參數(shù)化，和可以被當(dāng)作是重復(fù)Binomial實(shí)驗(yàn)中的正例數(shù)和負(fù)例數(shù)。分布中許多有用的統(tǒng)計(jì)數(shù)據(jù)可以用和表示，例如，
平均值：
方差：
等等。
從實(shí)驗(yàn)對(duì)比上我們發(fā)現(xiàn)，使用Beta Target Encoding可以得到大幅提升。因?yàn)锽eta Target Encoding屬于類別編碼的一種，所以適用于高基數(shù)類別特征的問題。
對(duì)應(yīng)代碼：
import?numpy?as?np? import?pandas?as?pd from?sklearn.preprocessing?import?LabelEncoder'''代碼摘自原作者：https://www.kaggle.com/mmotoki/beta-target-encoding ''' class?BetaEncoder(object):def?__init__(self,?group):self.group?=?groupself.stats?=?None#?get?counts?from?dfdef?fit(self,?df,?target_col):#?先驗(yàn)均值self.prior_mean?=?np.mean(df[target_col])?stats???????????=?df[[target_col,?self.group]].groupby(self.group)#?count和sumstats???????????=?stats.agg(['sum',?'count'])[target_col]????stats.rename(columns={'sum':?'n',?'count':?'N'},?inplace=True)stats.reset_index(level=0,?inplace=True)???????????self.stats??????=?stats#?extract?posterior?statisticsdef?transform(self,?df,?stat_type,?N_min=1):df_stats?=?pd.merge(df[[self.group]],?self.stats,?how='left')n????????=?df_stats['n'].copy()N????????=?df_stats['N'].copy()#?fill?in?missingnan_indexs????=?np.isnan(n)n[nan_indexs]?=?self.prior_meanN[nan_indexs]?=?1.0#?prior?parametersN_prior?????=?np.maximum(N_min-N,?0)alpha_prior?=?self.prior_mean*N_priorbeta_prior??=?(1-self.prior_mean)*N_prior#?posterior?parametersalpha???????=??alpha_prior?+?nbeta????????=??beta_prior??+?N-n#?calculate?statisticsif?stat_type=='mean':num?=?alphadem?=?alpha+betaelif?stat_type=='mode':num?=?alpha-1dem?=?alpha+beta-2elif?stat_type=='median':num?=?alpha-1/3dem?=?alpha+beta-2/3elif?stat_type=='var':num?=?alpha*betadem?=?(alpha+beta)**2*(alpha+beta+1)elif?stat_type=='skewness':num?=?2*(beta-alpha)*np.sqrt(alpha+beta+1)dem?=?(alpha+beta+2)*np.sqrt(alpha*beta)elif?stat_type=='kurtosis':num?=?6*(alpha-beta)**2*(alpha+beta+1)?-?alpha*beta*(alpha+beta+2)dem?=?alpha*beta*(alpha+beta+2)*(alpha+beta+3)#?replace?missingvalue?=?num/demvalue[np.isnan(value)]?=?np.nanmedian(value)return?value N_min?=?1000 feature_cols?=?[]????#?encode?variables for?c?in?cat_cols:#?fit?encoderbe?=?BetaEncoder(c)be.fit(train,?'deal_probability')#?meanfeature_name?=?f'{c}_mean'train[feature_name]?=?be.transform(train,?'mean',?N_min)test[feature_name]??=?be.transform(test,??'mean',?N_min)feature_cols.append(feature_name)#?modefeature_name?=?f'{c}_mode'train[feature_name]?=?be.transform(train,?'mode',?N_min)test[feature_name]??=?be.transform(test,??'mode',?N_min)feature_cols.append(feature_name)#?medianfeature_name?=?f'{c}_median'train[feature_name]?=?be.transform(train,?'median',?N_min)test[feature_name]??=?be.transform(test,??'median',?N_min)feature_cols.append(feature_name)????#?varfeature_name?=?f'{c}_var'train[feature_name]?=?be.transform(train,?'var',?N_min)test[feature_name]??=?be.transform(test,??'var',?N_min)feature_cols.append(feature_name)????????#?skewnessfeature_name?=?f'{c}_skewness'train[feature_name]?=?be.transform(train,?'skewness',?N_min)test[feature_name]??=?be.transform(test,??'skewness',?N_min)feature_cols.append(feature_name)????#?kurtosisfeature_name?=?f'{c}_kurtosis'train[feature_name]?=?be.transform(train,?'kurtosis',?N_min)test[feature_name]??=?be.transform(test,??'kurtosis',?N_min)feature_cols.append(feature_name)??5. Weight of evidence
Weight of evidence（WoE)是變量轉(zhuǎn)化的利器，經(jīng)常會(huì)出現(xiàn)在信用卡評(píng)分等問題中，用來判斷好的和壞的客戶。WOE不僅簡(jiǎn)單，而且可以依據(jù)其大小來篩選出重要的分組（group），可解釋性較強(qiáng)，早期WOE和邏輯回歸算法經(jīng)常一起使用并且可以幫助獲得較大的提升，在Kaggle的數(shù)據(jù)競(jìng)賽中，我們發(fā)現(xiàn)WOE和梯度提升樹模型結(jié)合也可以取得不錯(cuò)的效果。
此處的Event和Non Event為別是標(biāo)簽為1的樣本的分布以及標(biāo)簽為0的樣本的分布；
標(biāo)簽為1的樣本分布:在某個(gè)類內(nèi)正樣本占所有正樣本的比例；標(biāo)簽為0的樣本分布也是類似的。
從上面的公式中，我們知道，正樣本的分布和負(fù)樣本的分布如果在某個(gè)類中差別越大的話，涵蓋的信息就越大，如果WOE的值越大，擇該這個(gè)類內(nèi)的為正的概率極大，反之越小。
在實(shí)踐中，我們可以直接通過下面的步驟計(jì)算得到WOE的結(jié)果：
對(duì)于一個(gè)連續(xù)變量可以將數(shù)據(jù)先進(jìn)行分箱，對(duì)于類別變量（無需做任何操作）；
計(jì)算每個(gè)類內(nèi)（group）中正樣本和負(fù)樣本出現(xiàn)的次數(shù)；
計(jì)算每個(gè)類內(nèi)（group）正樣本和負(fù)樣本的百分比events%以及non events %；
按照公式計(jì)算WOE；
對(duì)應(yīng)代碼:
'''代碼摘自：https://github.com/Sundar0989/WOE-and-IV ''' import?os import?pandas?as?pd import?numpy?as?npdf?=?pd.read_csv('./data/bank.csv',sep=';') dic?=?{'yes':1,?'no':0} df['target']?=?df['y'].map(dic) df?=?df.drop('y',axis=1)?import?pandas.core.algorithms?as?algos from?pandas?import?Series import?scipy.stats.stats?as?stats import?re import?traceback import?stringmax_bin?=?20 force_bin?=?3#?define?a?binning?function def?mono_bin(Y,?X,?n?=?max_bin):df1??????=?pd.DataFrame({"X":?X,?"Y":?Y})justmiss?=?df1[['X','Y']][df1.X.isnull()]notmiss??=?df1[['X','Y']][df1.X.notnull()]r????????=?0while?np.abs(r)?<?1:try:d1?=?pd.DataFrame({"X":?notmiss.X,?"Y":?notmiss.Y,?"Bucket":?pd.qcut(notmiss.X,?n)})d2?=?d1.groupby('Bucket',?as_index=True)r,?p?=?stats.spearmanr(d2.mean().X,?d2.mean().Y)n?=?n?-?1?except?Exception?as?e:n?=?n?-?1if?len(d2)?==?1:n????=?force_bin?????????bins?=?algos.quantile(notmiss.X,?np.linspace(0,?1,?n))if?len(np.unique(bins))?==?2:bins?=?np.insert(bins,?0,?1)bins[1]?=?bins[1]-(bins[1]/2)d1?=?pd.DataFrame({"X":?notmiss.X,?"Y":?notmiss.Y,?"Bucket":?pd.cut(notmiss.X,?np.unique(bins),include_lowest=True)})?d2?=?d1.groupby('Bucket',?as_index=True)d3?=?pd.DataFrame({},index=[])d3["MIN_VALUE"]?=?d2.min().Xd3["MAX_VALUE"]?=?d2.max().Xd3["COUNT"]?????=?d2.count().Yd3["EVENT"]?????=?d2.sum().Y??#?正樣本d3["NONEVENT"]??=?d2.count().Y?-?d2.sum().Y?#?負(fù)樣本d3??????????????=?d3.reset_index(drop=True)if?len(justmiss.index)?>?0:d4?=?pd.DataFrame({'MIN_VALUE':np.nan},index=[0])d4["MAX_VALUE"]?=?np.nand4["COUNT"]?=?justmiss.count().Yd4["EVENT"]?=?justmiss.sum().Yd4["NONEVENT"]?=?justmiss.count().Y?-?justmiss.sum().Yd3?=?d3.append(d4,ignore_index=True)d3["EVENT_RATE"]?????=?d3.EVENT/d3.COUNT???????#?正樣本類內(nèi)百分比d3["NON_EVENT_RATE"]?=?d3.NONEVENT/d3.COUNT????#?負(fù)樣本類內(nèi)百分比d3["DIST_EVENT"]?????=?d3.EVENT/d3.sum().EVENT?#?正的樣本占所有正樣本百分比d3["DIST_NON_EVENT"]?=?d3.NONEVENT/d3.sum().NONEVENT?#?負(fù)的樣本占所有負(fù)樣本百分比d3["WOE"]?=?np.log(d3.DIST_EVENT/d3.DIST_NON_EVENT)d3["IV"]?=?(d3.DIST_EVENT-d3.DIST_NON_EVENT)*np.log(d3.DIST_EVENT/d3.DIST_NON_EVENT)d3["VAR_NAME"]?=?"VAR"d3?=?d3[['VAR_NAME','MIN_VALUE',?'MAX_VALUE',?'COUNT',?'EVENT',?'EVENT_RATE',?'NONEVENT',?'NON_EVENT_RATE',?'DIST_EVENT','DIST_NON_EVENT','WOE',?'IV']]???????d3?=?d3.replace([np.inf,?-np.inf],?0)d3.IV?=?d3.IV.sum()return(d3)def?char_bin(Y,?X):df1?=?pd.DataFrame({"X":?X,?"Y":?Y})justmiss?=?df1[['X','Y']][df1.X.isnull()]notmiss?=?df1[['X','Y']][df1.X.notnull()]????df2?=?notmiss.groupby('X',as_index=True)d3?=?pd.DataFrame({},index=[])d3["COUNT"]?=?df2.count().Yd3["MIN_VALUE"]?=?df2.sum().Y.indexd3["MAX_VALUE"]?=?d3["MIN_VALUE"]d3["EVENT"]?=?df2.sum().Yd3["NONEVENT"]?=?df2.count().Y?-?df2.sum().Yif?len(justmiss.index)?>?0:d4?=?pd.DataFrame({'MIN_VALUE':np.nan},index=[0])d4["MAX_VALUE"]?=?np.nand4["COUNT"]?=?justmiss.count().Yd4["EVENT"]?=?justmiss.sum().Yd4["NONEVENT"]?=?justmiss.count().Y?-?justmiss.sum().Yd3?=?d3.append(d4,ignore_index=True)d3["EVENT_RATE"]?=?d3.EVENT/d3.COUNTd3["NON_EVENT_RATE"]?=?d3.NONEVENT/d3.COUNTd3["DIST_EVENT"]?=?d3.EVENT/d3.sum().EVENTd3["DIST_NON_EVENT"]?=?d3.NONEVENT/d3.sum().NONEVENTd3["WOE"]?=?np.log(d3.DIST_EVENT/d3.DIST_NON_EVENT)d3["IV"]?=?(d3.DIST_EVENT-d3.DIST_NON_EVENT)*np.log(d3.DIST_EVENT/d3.DIST_NON_EVENT)d3["VAR_NAME"]?=?"VAR"d3?=?d3[['VAR_NAME','MIN_VALUE',?'MAX_VALUE',?'COUNT',?'EVENT',?'EVENT_RATE',?'NONEVENT',?'NON_EVENT_RATE',?'DIST_EVENT','DIST_NON_EVENT','WOE',?'IV']]??????d3?=?d3.replace([np.inf,?-np.inf],?0)d3.IV?=?d3.IV.sum()d3?=?d3.reset_index(drop=True)return(d3)?def?data_vars(df1,?target):stack?=?traceback.extract_stack()filename,?lineno,?function_name,?code?=?stack[-2]vars_name?=?re.compile(r'\((.*?)\).*$').search(code).groups()[0]final?=?(re.findall(r"[\w']+",?vars_name))[-1]x?=?df1.dtypes.indexcount?=?-1for?i?in?x:if?i.upper()?not?in?(final.upper()):if?np.issubdtype(df1[i],?np.number)?and?len(Series.unique(df1[i]))?>?2:conv?=?mono_bin(target,?df1[i])conv["VAR_NAME"]?=?icount?=?count?+?1else:conv?=?char_bin(target,?df1[i])conv["VAR_NAME"]?=?i????????????count?=?count?+?1if?count?==?0:iv_df?=?convelse:iv_df?=?iv_df.append(conv,ignore_index=True)return?iv_df?final_iv?=?data_vars(df,df.target)6. 人工編碼
6.1 人工轉(zhuǎn)化編碼：
這個(gè)需要一些專業(yè)背景知識(shí)，可以認(rèn)為是Label編碼的一種補(bǔ)充，如果我們的類別特征是字符串類型的，例如：
城市編號(hào)：'10','100','90','888'...
這個(gè)時(shí)候，我們使用Labelencoder會(huì)依據(jù)字符串排序編碼。在字符串中'90' > '100'，但我們直觀感覺是為'100' > '90',所以需要人為但進(jìn)行干預(yù)編碼，如果都是可以直接轉(zhuǎn)化為數(shù)值形的，編碼時(shí)可以直接轉(zhuǎn)化為數(shù)值，或者自己書寫一個(gè)字典進(jìn)行映射。
6.2 人工組合編碼：
這個(gè)同樣的也設(shè)計(jì)到部分專業(yè)背景知識(shí)，有些問題會(huì)出現(xiàn)一些臟亂的數(shù)據(jù)，例如：
在一些位置字段中，有的是中文的，有的是英文的，例如“ShangHai”，“上海”，二者描述的是同一個(gè)地方，但如果我們不注意就忽略了；
這個(gè)時(shí)候，我們可以先采用字典映射等方式對(duì)其進(jìn)行轉(zhuǎn)化，然后再使用上面所屬的Frequency等編碼重新對(duì)其進(jìn)行處理。
7. 擴(kuò)展
上面是數(shù)據(jù)競(jìng)賽中最為常用的編碼特征，在基于梯度提升樹模型的建模中，上面的編碼往往可以帶來非常大的幫助，也都是非常值得嘗試的。當(dāng)然還有一些其它的類別特征的編碼形式，目前使用較多的一個(gè)庫就是category_encoders，有興趣的朋友可以當(dāng)作擴(kuò)展進(jìn)行學(xué)習(xí)，此處不再敘述。
往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：總結(jié)
以上是生活随笔為你收集整理的【数据竞赛】Kaggle实战之单类别变量特征工程总结！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 新萝卜家园windows11 64位官网
- 下一篇： 如何解决Win11系统蓝牙鼠标经常掉线