相信小伙伴都用過XGBoost模型了，因為效果好，透明易解釋等優點，XGBoost已經成為了特別流行的算法模型，小編今天也來介紹一下XGBoost調參。

一、XGBoost參數解釋

XGBoost有三類參數：

1.通用參數：模型的宏觀參數，控制了模型的宏觀功能，比如booster、nthread、slience。

2.Booster參數：控制每一步booster tree或regression的生成。

3.學習目標參數：決定了學習目標，如損失函數或者評價函數等。

1.1通用函數：

1、booster[默認gbtree]

選擇每次迭代的模型，有兩種選擇：

gbtree：基于樹的模型進行提升

gbliner：基于線性模型進行提升

默認是gbtree，一般gbtree的效果遠遠勝于gbliner

2、silent[默認0]

當這個參數值為1時，靜默模式開啟，即表示不打印任何運行信息。一般這個參數就保持默認的0，因為這樣能幫我們更好地理解模型。

3、nthread[默認值為最大可能的線程數]

這個參數用來進行多線程控制，應當輸入系統的核數。默認是當前系統最大線程數。

4、num_pbuffer[系統自動設置]

5、num_feature[系統自動設置]

1.2booster參數

這里以gbtree為例進行介紹：

1、eta[默認0.3]

學習速率，用于控制樹的權重，xgb模型在進行完每一輪迭代之后，會將葉子節點的分數乘上該系數，以便于削弱各棵樹的影響，避免過擬合。

一般對eta進行調優時會結合迭代次數進行考慮。

如增加eta，就減少迭代次數。反之亦然。

2、min_child_weight[默認1]

表示最小葉子節點樣本權重的和。可用于避免過擬合。當它的值較大時，可以避免模型學習到局部的特殊樣本。但是如果這個值過高，會導致欠擬合。這個參數需要使用CV來調整。

3、max_depth[默認6]

表示樹的最大深度。也是用來避免過擬合的。當它的值越大時，模型會學到更具體更局部的樣本，可能會導致過擬合。需要使用CV函數來進行調優。 典型值：3-10

4、max_leaf_nodes

表示樹上最大的節點或葉子的數量。可以替代max_depth的作用。因為如果生成的是二叉樹，一個深度為n的樹最多生成n2個葉子。

5、gamma[默認0]

在節點分裂時，只有分裂后損失函數的值下降了，才會分裂這個節點。Gamma指定了節點分裂所需的最小損失函數下降值。 這個參數的值越大，算法越保守。這個參數的值和損失函數息息相關，所以是需要調整的。

6、max_delta_step[默認0]

這參數限制每棵樹權重改變的最大步長。如果這個參數的值為0，那就意味著沒有約束。如果它被賦予了某個正值，那么它會讓這個算法更加保守。 通常，這個參數不需要設置。但是當各類別的樣本十分不平衡時，它對邏輯回歸是很有幫助的。這個參數一般用不到，但是你可以挖掘出來它更多的用處。

7、subsample[默認1]

這個參數控制對于每棵樹，隨機采樣的比例。減小這個參數的值，算法會更加保守，避免過擬合。但是，如果這個值設置得過小，它可能會導致欠擬合。 典型值：0.5-1

8、colsample_bytree[默認1]

和GBM里面的max_features參數類似。用來控制每棵隨機采樣的列數的占比(每一列是一個特征)。 典型值：0.5-1

9、colsample_bylevel[默認1]

用來控制樹的每一級的每一次分裂，對列數的采樣的占比。我個人一般不太用這個參數，因為subsample參數和colsample_bytree參數可以起到相同的作用。但是如果感興趣，可以挖掘這個參數更多的用處。

10、lambda[默認1]

權重的L2正則化項。(和Ridgeregression類似)。 這個參數是用來控制XGBoost的正則化部分的。雖然大部分數據科學家很少用到這個參數，但是這個參數在減少過擬合上還是可以挖掘出更多用處的。

11、alpha[默認1]

權重的L1正則化項。(和Lassoregression類似)。 可以應用在很高維度的情況下，使得算法的速度更快。

12、scale_pos_weight[默認1]

在各類別樣本十分不平衡時，把這個參數設定為一個正值，可以使算法更快收斂。

1.3學習任務參數

這個參數用來控制理想的優化目標和每一步結果的度量方法。

1、objective[默認reg:linear]

這個參數定義需要被最小化的損失函數。最常用的值有：

binary：logistic

binary：logitraw

2、eval_metric[默認值取決于objective參數的取值]

評價模型的指標，主要是對驗證集進行評價。對于回歸問題，默認值是rmse，對于分類問題，默認值是error。典型值有：

rmse均方根誤差

mae 平均絕對誤差

logloss負對數似然函數值

error二分類錯誤率(閾值為0.5)

merror多分類錯誤率

mlogloss多分類logloss損失函數

auc曲線下面積

3、seed(默認0)

隨機數的種子 設置它可以復現隨機數據的結果，也可以用于調整參數。

二、XGBoost調參示例

以下主要用網格搜索和隨機搜索做示例：

原始數據集還是用小編上傳在github上的數據集。

本篇文章使用CV進行調參，

首先定義一個XGBoost CV 函數， 它可以建立xgb模型并可以進行交叉驗證。

接下來就開始進行調參了：

1. 選擇較高的學習速率(learningrate)。一般情況下，學習速率的值為0.1。但是，對于不同的問題，理想的學習速率有時候會在0.05到0.3之間波動。選擇對應于此學習速率的理想決策樹數量。

2. 對于給定的學習速率和決策樹數量，進行決策樹特定參數調優(max_depth, min_child_weight, gamma, subsample, colsample_bytree)。在確定一棵樹的過程中，我們可以選擇不同的參數。

3.xgboost的正則化參數的調優。(lambda, alpha)。這些參數可以降低模型的復雜度，從而提高模型的表現。

4. 降低學習速率，確定理想參數。

未完待續。。。

謝謝大家返回搜狐，查看更多

責任編輯：

20201203

max_depth 和 max_leaf_nodes
二者可以替代,只需設置其中一個就可以了
gamma:在最大深度或者最大結點數量之內 如果分裂后損失函數的值下降了,就會分裂這個節點
max_delta_step:賦予正值 意味著 給了其取最大值的限制 所以說保守
subsample:這個參數控制對于每棵樹，隨機采樣的比例 是對樣本采樣
colsample_bytree:和GBM里面的max_features參數類似。用來控制每棵隨機采樣的列數的占比
alpha[默認1]
權重的L1正則化項。(和Lassoregression類似)。 可以應用在很高維度的情況下，使得算法的速度更快。
scale_pos_weight[默認1]
在各類別樣本十分不平衡時，把這個參數設定為一個正值，可以使算法更快收斂。

總結

以上是生活随笔為你收集整理的xgboost重要参数2为主但不全要参照1的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。