lightgbm中的feval参数使用明细
生活随笔
收集整理的這篇文章主要介紹了
lightgbm中的feval参数使用明细
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、問題起源:
在Lightgbm中如何使用自定義函數呢,文檔搜索中找到了feval,但不知道如何使用?
二、解決方案:
1、官方文檔解釋:
注意事項:1、自定義的損失函數接受兩個參數;第一個是模型預測值,第二個是數據集數據類型,傳入驗證數據集;2、返回值有三個:eval_name(字符串,隨意起名), eval_result, is_higher_better(bool類型)
1、自定義損失函數
def rmse(y_true, y_pred):return np.sqrt(mean_squared_error(y_true, y_pred)) def feval_rmse(y_pred, lgb_train):y_true = lgb_train.get_label()print(len(y_true))return 'rmse', rmse(y_true, y_pred), False2、lightgbm訓練代碼,調用eval
params = {'learning_rate':0.05,"objective": "regression","metric": "rmse",'boosting_type': "gbdt",'verbosity': -1,'n_jobs': -1, 'seed': 20220215002,'n_estimators': 500, 'max_depth': 5, } target_flag = np.where(train_data.target >= 0, 1, 0) skf = StratifiedKFold(n_splits=3) fold = 0 metric_over_time = {} for train_idx, test_idx in skf.split(train_data, target_flag):X_train, y_train = train_data.iloc[train_idx][num_feat_name], train_data.iloc[train_idx]['target']X_valid, y_valid = train_data.iloc[test_idx][num_feat_name], train_data.iloc[test_idx]['target']train_dataset = lgb.Dataset(X_train, y_train)valid_dataset = lgb.Dataset(X_valid, y_valid)model = lgb.train(params,train_set = train_dataset, valid_sets = [valid_dataset], feval = feval_rmse,callbacks=[lgb.early_stopping(100), lgb.log_evaluation(100), lgb.record_evaluation(metric_over_time)])每一次迭代完都會調用feval,傳入驗證數據集的此輪迭代的預測值與驗證數據集;
3、訓練結果:
總結
以上是生活随笔為你收集整理的lightgbm中的feval参数使用明细的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 时间序列交叉验证TimeSeriesSp
- 下一篇: 迁移学习与微调的区别