隨機森林

優點

具有極高的準確率

隨機性的引入，使得隨機森林不容易過擬合，有很好的抗噪聲能力，對異常點離群點不敏感

能處理很高維度的數據，并且不用做特征選擇

既能處理離散型數據，也能處理連續型數據，數據集無需規范化（歸一化）

實現簡單，訓練速度快，可以得到變量重要性排序（計算每個特征在分裂時被選到的次數或者某個特征不純度平均下降了多少）

容易實現并行化

在創建隨機森林的時候，對generlization error使用的是無偏估計，不需要額外的驗證集

缺點

隨機森林已經被證明在某些噪音較大的分類或回歸問題上會過擬合?

對于有不同取值的屬性的數據，取值劃分較多的屬性會對隨機森林產生更大的影響，所以隨機森林在這種數據上產出的屬性權值是不可信的。

隨機森林模型還有許多不好解釋的地方，有點算個黑盒模型

Adaboost

優點

用于二分類或多分類的應用場景

在Adaboost的框架下，可以使用各種回歸分類模型來構建弱學習器，非常靈活。

無腦化，簡單，不會overfitting，不用調分類器

不需要歸一化

泛化錯誤率低，精度高，可應用在大部分分類器上，無需調整參數?

用于特征選擇（feature selection)

缺點

AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定。

數據不平衡導致分類精度下降。

訓練比較耗時，每次重新選擇當前分類器最好切分點。

對離群點敏感，在Adaboost訓練過程中，Adaboost會使得難于分類樣本的權值呈指數增長，訓練將會過于偏向這類困難的樣本，導致Adaboost算法易受噪聲干擾

GBDT

優點

可以靈活處理各種類型的數據，包括連續值和離散值。

在相對少的調參時間情況下，預測的準備率也可以比較高。這個是相對SVM來說的。

使用一些健壯的損失函數，對異常值的魯棒性非常強。比如 Huber損失函數和Quantile損失函數。

不需要歸一化。樹模型都不需要，梯度下降算法才需要，

基分類器的葉子節點個數J選在[4,8]區間內較好，太小，需要太多的迭代次數。太大又容易過擬合。

缺點

由于弱學習器之間存在依賴關系，難以并行訓練數據。不過可以通過子采樣的SGBT來達到部分并行

不適合高維稀疏特征

?

處理高維稀疏特征的時候LR效果比GBDT好？

答案轉載自知乎https://www.zhihu.com/question/35821566

知乎里還有幾個答案解釋了如果利用gbdt，lr，fm等多模型的結合方法去訓練樣本。

?

GBDT如何構建新的特征（GBDT能夠產生高維稀疏特征，然后放到LR離去）

轉https://blog.csdn.net/luanpeng825485697/article/details/80150594

注意是路徑，對于每一個不同的葉子節點，都會有不同的特征路徑，比如說第一個是年齡大于20還是小于等于20，第二是性別巴拉巴拉

總結

以上是生活随笔為你收集整理的【机器学习】集成学习各方法优缺点特征总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。