Bootstraping:?
名字來自成語“pull up by your own bootstraps”，意思是依靠你自己的資源，稱為自助法，
有放回的抽樣方法，是非參數統計中一種重要的估計統計量方差進而進行區間估計的統計方法


bagging：
bootstrap aggregating的縮寫，套袋法。
每次使用bootstraping方法抽取k個樣本，得到k個訓練集，k個訓練集之間是相互獨立的，每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。
對分類問題：將上步得到的k個模型采用投票的方式得到分類結果；
對回歸問題，計算上述模型的均值作為最后的結果。（即所有模型的重要性相同）


boosting：
以AdaBoost為例：通過迭代每次學習一個基本分類器，每次迭代中提高那些被前一輪分類器錯誤分類的數據的權值，而降低那些被正確分類的數據的權值，最后將基本分類器線性組合為強可學習分類器，其中給分類誤差率小的基本分類器較大的系數權值，給分類誤差率較大的基本分類器較小的系數權值。
bagging是基于隨機取樣建立模型，而boosting根據誤差率調整權值


隨機森林rand forest
是用隨機的方式建立一個森林，森林里面有很多的決策樹組成，隨機森林的每一棵決策樹之間是沒有關聯的。在得到森林之后，對于分類問題，當有一個新的輸入樣本進入的時候，就讓森林中的每一棵決策樹分別進行一下判斷，采用投票的方式進行決策


梯度提升 gradient boost
每一次建立模型是在之前建立模型損失函數的梯度下降方向。
損失函數(loss function)描述的是模型的不靠譜程度，損失函數越大，則說明模型越容易出錯。
讓損失函數持續的下降說明我們的模型在不停的改進，而最好的方式就是讓損失函數在其梯度（Gradient)的方向上下降（梯度方向下降的最快）

另外：
1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹
3）Gradient Boosting + 決策樹 = GBDT

總結

以上是生活随笔為你收集整理的一些关于bootstrap,bagging,Adaboost,random forest, gradient boost的基本理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。