本場 Chat 和《NLP 中文短文本分類項(xiàng)目實(shí)踐（上）》可以看做姊妹篇，在上一篇的基礎(chǔ)上，本篇主要講一下文本分類在集成學(xué)習(xí)和深度學(xué)習(xí)方面的應(yīng)用，由于內(nèi)容比較多，筆者不可能面面俱到。下面我們先從集成學(xué)習(xí)說起。

一、數(shù)據(jù)科學(xué)比賽大殺器 XGBoost 實(shí)戰(zhàn)文本分類

在說 XGBoost 之前，我們先簡單從樹模型說起，典型的決策樹模型。決策樹的學(xué)習(xí)過程主要包括：

• 特征選擇： 從訓(xùn)練數(shù)據(jù)的特征中選擇一個(gè)特征作為當(dāng)前節(jié)點(diǎn)的分裂標(biāo)準(zhǔn)（特征選擇的標(biāo)準(zhǔn)不同產(chǎn)生了不同的特征決策樹算法，如根據(jù)信息增益、信息增益率和gini等）。

• 決策樹生成： 根據(jù)所選特征評估標(biāo)準(zhǔn)，從上至下遞歸地生成子節(jié)點(diǎn)，直到數(shù)據(jù)集不可分則停止決策樹生長。

• 剪枝： 決策樹容易過擬合，需通過剪枝來預(yù)防過擬合（包括預(yù)剪枝和后剪枝）。

常見的決策樹算法有 ID3、C4.5、CART 等。

在 sklearn 中決策樹分類模型如下，可以看到默認(rèn)通過 gini 計(jì)算實(shí)現(xiàn)。

sklearn.tree.DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.

總結(jié)

以上是生活随笔為你收集整理的NLP 中文短文本分类项目实践（下）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。