集成方法（ensemble method）又叫元算法（meta-algorithm）：將不同的分類器組合起來。

通俗的說：就是三個臭皮匠賽過諸葛亮。做決定時，考慮多個人的意見，不是一個人的意見

集成方法：

　　1. bagging（自舉匯聚法）：基于數(shù)據(jù)隨機重抽樣的分類器構(gòu)建方法。并行算法

　　2. boosting（再學(xué)習(xí)）：基于所有分類器的加權(quán)求和的方法。? ? ? ? ? ? ? 串行算法。

bagging：從原始數(shù)據(jù)集選擇S次后得到S個新數(shù)據(jù)集的一種技術(shù)。新數(shù)據(jù)集和原數(shù)據(jù)集的大小相等。

其實就是有放回采樣，獲得一個和原來大小一樣的新數(shù)據(jù)集。這個新數(shù)據(jù)集可能會有重復(fù)值，原始數(shù)據(jù)集的某些值在新數(shù)據(jù)集中可能不在出現(xiàn)。

用這樣的方法構(gòu)建S個新的數(shù)據(jù)集參與訓(xùn)練，就會得到S個分類器。測試新數(shù)據(jù)時，送到S個分類器里，得到的結(jié)果投票，數(shù)量最多的就是分類結(jié)果（得民心者得天下）。

boosting：串行訓(xùn)練。第一個訓(xùn)練完，第二個在第一個的基礎(chǔ)上接著訓(xùn)練。重點關(guān)注前面分類器錯分的數(shù)據(jù)（說白了就是背鍋俠，前面哥們犯的錯，后面的去解決）。

目前 bagging 方法最流行的版本是: 隨機森林(random forest)
選男友：美女選擇擇偶對象的時候，會問幾個閨蜜的建議，最后選擇一個綜合得分最高的一個作為男朋友

目前 boosting 方法最流行的版本是: AdaBoost
追女友：3個帥哥追同一個美女，第1個帥哥失敗->(傳授經(jīng)驗：姓名、家庭情況) 第2個帥哥失敗->(傳授經(jīng)驗：興趣愛好、性格特點) 第3個帥哥成功

bagging和boosting共同點和差異點：

bagging 是一種與 boosting 很類似的技術(shù), 無論是boosting還是bagging，所使用的多個分類器的類型（數(shù)據(jù)量和特征量）都是一致的（就是說要用KNN，都用KNN，要用決策樹，那就都用決策樹）。

bagging 是由不同的分類器（1.數(shù)據(jù)隨機化 2.特征隨機化）經(jīng)過訓(xùn)練，綜合得出的出現(xiàn)最多分類結(jié)果；boosting 是通過調(diào)整已有分類器錯分的那些數(shù)據(jù)來獲得新的分類器，得出目前最優(yōu)的結(jié)果。

bagging 中的分類器權(quán)重是相等的；而 boosting 中的分類器加權(quán)求和，所以權(quán)重并不相等，每個權(quán)重代表的是其對應(yīng)分類器在上一輪迭代中的成功度。（就是說bagging投票是一人一票，權(quán)重相等。而boosting權(quán)重不等，可能有的權(quán)重大，有的權(quán)重小）

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/gezhuangzhuang/p/10004304.html

總結(jié)

以上是生活随笔為你收集整理的集成方法-概念理解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。