Titanic: Machine Learning from Disaster

對(duì)實(shí)驗(yàn)用的數(shù)據(jù)的認(rèn)識(shí)，數(shù)據(jù)中的特殊點(diǎn)/離群點(diǎn)的分析和處理，特征工程(feature engineering)很重要。

注意模型融合(model ensemble)。

機(jī)器學(xué)習(xí)系列(3)_邏輯回歸應(yīng)用之Kaggle泰坦尼克之災(zāi)

訓(xùn)練數(shù)據(jù)中通常遇到缺值的情況，會(huì)有幾種常見的處理方式：

? ? ? ? 1.如果缺值的樣本占總數(shù)比例極高，可能就直接舍棄了，作為特征加入的話，可能反倒帶入noise，影響最后的結(jié)果了；

? ? ? ? 2.如果缺值的樣本適中，而該屬性非連續(xù)值特征屬性(比如說類目屬性)，那就把NaN作為一個(gè)新類別，加到類別特征中；

? ? ? ? 3.如果缺值的樣本適中，而該屬性為連續(xù)值特征屬性，有時(shí)候會(huì)考慮給定一個(gè)step(比如這里的age，可以考慮每隔2/3歲為一個(gè)步長(zhǎng))，然后把它離散化，之后把NaN作為一個(gè)type加到屬性類目中；

? ? ? ? 4.有些情況下，缺失的值個(gè)數(shù)并不是特別多，那也可以試著根據(jù)已有的值，擬合一下數(shù)據(jù)，補(bǔ)充上。

?

因?yàn)檫壿嫽貧w建模時(shí)，需要輸入的特征都是數(shù)值型特征，通常會(huì)先對(duì)類目型的特征因子化。什么叫做因子化呢？舉個(gè)例子：以Cabin為例，原本一個(gè)屬性維度，因?yàn)槠淙≈悼梢允荹‘yes’,‘no’]，而將其平展開為’Cabin_yes’,'Cabin_no’兩個(gè)屬性。原本Cabin取值為yes的，在此處的"Cabin_yes"下取值為1，在"Cabin_no"下取值為0；原本Cabin取值為no的，在此處的"Cabin_yes"下取值為0，在"Cabin_no"下取值為1。pandas提供對(duì)one-hot編碼的函數(shù)是：pd.get_dummies()。

交叉驗(yàn)證cross validation：把train.csv分成兩部分，一部分用于訓(xùn)練需要的模型，另外一部分?jǐn)?shù)據(jù)上看預(yù)測(cè)算法的效果。可以用scikit-learn的cross_validation來幫忙完成小數(shù)據(jù)集上的這個(gè)工作。

用scikit-learn里面的learning_curve來幫忙分辨模型的狀態(tài)。

可以不要用全部的訓(xùn)練集，每次取訓(xùn)練集的一個(gè)subset，做訓(xùn)練，這樣，雖然用的是同一個(gè)機(jī)器學(xué)習(xí)算法，但是得到的模型卻是不一樣的；同時(shí)，因?yàn)闆]有任何一份子數(shù)據(jù)集是全的，因此即使出現(xiàn)過擬合，也是在子訓(xùn)練集上出現(xiàn)過擬合，而不是全體數(shù)據(jù)上，這樣做一個(gè)融合，可能對(duì)最后的結(jié)果有一定的幫助。

總結(jié)

以上是生活随笔為你收集整理的Titanic: Machine Learning from Disaster-kaggle入门赛-学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。