XGBoost缺失值引發的問題及其深度分析

2019年08月15日?作者: 李兆軍?文章鏈接?3969字?8分鐘閱讀

1. 背景

XGBoost模型作為機器學習中的一大“殺器”，被廣泛應用于數據科學競賽和工業領域，XGBoost官方也提供了可運行于各種平臺和環境的對應代碼，如適用于Spark分布式訓練的XGBoost on Spark。然而，在XGBoost on Spark的官方實現中，卻存在一個因XGBoost缺失值和Spark稀疏表示機制而帶來的不穩定問題。

事情起源于美團內部某機器學習平臺使用方同學的反饋，在該平臺上訓練出的XGBoost模型，使用同一個模型、同一份測試數據，在本地調用（Java引擎）與平臺（Spark引擎）計算的結果不一致。但是該同學在本地運行兩種引擎（Python引擎和Java引擎）進行測試，兩者的執行結果是一致的。因此質疑平臺的XGBoost預測結果會不會有問題？

該平臺對XGBoost模型進行過多次定向優化，在XGBoost模型測試時，并沒有出現過本地調用（Java引擎）與平臺（Spark引擎）計算結果不一致的情形。而且平臺上運行的版本，和該同學本地使用的版本，都來源于Dmlc的官方版本，JNI底層調用的應該是同一份代碼，理論上，結果應該是完全一致的，但實際中卻不同。

從該同學給出的測試代碼上，并沒有發現什么問題：

//測試結果中的一行，41列 double[] input = new double[]{1, 2, 5, 0, 0, 6.666666666666667, 31.14, 29.28, 0, 1.303333, 2.8555, 2.37, 701, 463, 3.989, 3.85, 14400.5, 15.79, 11.45, 0.915, 7.05, 5.5, 0.023333, 0.0365, 0.0275, 0.123333, 0.4645, 0.12, 15.082, 14.48, 0, 31.8425, 29.1, 7.7325, 3, 5.88, 1.08, 0, 0, 0, 32]; //轉化為float[] float[] testInput = new float[input.length]; for(int i = 0, total = input.length; i < total; i++){testInput[i] = new Double(input[i]).floatValue(); } //加載模型 Booster booster = XGBoost.loadModel("${model}"); //轉為DMatrix，一行，41列 DMatrix testMat = new DMatrix(testInput, 1, 41); //調用模型 float[][] predicts = booster.predict(testMat);

上述代碼在本地執行的結果是333.67892，而平臺上執行的結果卻是328.1694030761719。

兩次結果怎么會不一樣，問題出現在哪里呢？

2. 執行結果不一致問題排查歷程

如何排查？首先想到排查方向就是，兩種處理方式中輸入的字段類型會不會不一致。如果兩種輸入中字段類型不一致，或者小數精度不同，那結果出現不同就是可解釋的了。仔細分析模型的輸入，注意到數組中有一個6.666666666666667，是不是它的原因？

一個個Debug仔細比對兩側的輸入數據及其字段類型，完全一致。

這就排除了兩種方式處理時，字段類型和精度不一致的問題。

第二個排查思路是，XGBoost on Spark按照模型的功能，提供了XGBoostClassifier和XGBoostRegressor兩個上層API，這兩個上層API在JNI的基礎上，加入了很多超參數，封裝了很多上層能力。會不會是在這兩種封裝過程中，新加入的某些超參數對輸入結果有著特殊的處理，從而導致結果不一致？

與反饋此問題的同學溝通后得知，其Python代碼中設置的超參數與平臺設置的完全一致。仔細檢查XGBoostClassifier和XGBoostRegressor的源代碼，兩者對輸出結果并沒有做任何特殊處理。

再次排除了XGBoost on Spark超參數封裝問題。

再一次檢查模型的輸入，這次的排查思路是，檢查一下模型的輸入中有沒有特殊的數值，比方說，NaN、-1、0等。果然，輸入數組中有好幾個0出現，會不會是因為缺失值處理的問題？

快速找到兩個引擎的源碼，發現兩者對缺失值的處理真的不一致！

XGBoost4j中缺失值的處理

XGBoost4j缺失值的處理過程發生在構造DMatrix過程中，默認將0.0f設置為缺失值：

/*** create DMatrix from dense matrix** @param data data values* @param nrow number of rows* @param ncol number of columns* @throws XGBoostError native error*/public DMatrix(float[] data, int nrow, int ncol) throws XGBoostError {long[] out = new long[1];//0.0f作為missing的值XGBoostJNI.checkCall(XGBoostJNI.XGDMatrixCreateFromMat(data, nrow, ncol, 0.0f, out));handle = out[0];}

XGBoost on Spark中缺失值的處理

而xgboost on Spark將NaN作為默認的缺失值。

/*** @return A tuple of the booster and the metrics used to build training summary*/@throws(classOf[XGBoostError])def trainDistributed(trainingDataIn: RDD[XGBLabeledPoint],params: Map[String, Any],round: Int,nWorkers: Int,obj: ObjectiveTrait = null,eval: EvalTrait = null,useExternalMemory: Boolean = false,//NaN作為missing的值missing: Float = Float.NaN,hasGroup: Boolean = false): (Booster, Map[String, Array[Float]]) = {//...}

也就是說，本地Java調用構造DMatrix時，如果不設置缺失值，默認值0被當作缺失值進行處理。而在XGBoost on Spark中，默認NaN會被為缺失值。原來Java引擎和XGBoost on Spark引擎默認的缺失值并不一樣。而平臺和該同學調用時，都沒有設置缺失值，造成兩個引擎執行結果不一致的原因，就是因為缺失值不一致！

修改測試代碼，在Java引擎代碼上設置缺失值為NaN，執行結果為328.1694，與平臺計算結果完全一致。

//測試結果中的一行，41列double[] input = new double[]{1, 2, 5, 0, 0, 6.666666666666667, 31.14, 29.28, 0, 1.303333, 2.8555, 2.37, 701, 463, 3.989, 3.85, 14400.5, 15.79, 11.45, 0.915, 7.05, 5.5, 0.023333, 0.0365, 0.0275, 0.123333, 0.4645, 0.12, 15.082, 14.48, 0, 31.8425, 29.1, 7.7325, 3, 5.88, 1.08, 0, 0, 0, 32];float[] testInput = new float[input.length];for(int i = 0, total = input.length; i < total; i++){testInput[i] = new Double(input[i]).floatValue();}Booster booster = XGBoost.loadModel("${model}");//一行，41列DMatrix testMat = new DMatrix(testInput, 1, 41, Float.NaN);float[][] predicts = booster.predict(testMat);

3. XGBoost on Spark源碼中缺失值引入的不穩定問題

然而，事情并沒有這么簡單。

Spark ML中還有隱藏的缺失值處理邏輯：SparseVector，即稀疏向量。

SparseVector和DenseVector都用于表示一個向量，兩者之間僅僅是存儲結構的不同。

其中，DenseVector就是普通的Vector存儲，按序存儲Vector中的每一個值。

而SparseVector是稀疏的表示，用于向量中0值非常多場景下數據的存儲。

SparseVector的存儲方式是：僅僅記錄所有非0值，忽略掉所有0值。具體來說，用一個數組記錄所有非0值的位置，另一個數組記錄上述位置所對應的數值。有了上述兩個數組，再加上當前向量的總長度，即可將原始的數組還原回來。

因此，對于0值非常多的一組數據，SparseVector能大幅節省存儲空間。

SparseVector存儲示例見下圖：

如上圖所示，SparseVector中不保存數組中值為0的部分，僅僅記錄非0值。因此對于值為0的位置其實不占用存儲空間。下述代碼是Spark ML中VectorAssembler的實現代碼，從代碼中可見，如果數值是0，在SparseVector中是不進行記錄的。

private[feature] def assemble(vv: Any*): Vector = {val indices = ArrayBuilder.make[Int]val values = ArrayBuilder.make[Double]var cur = 0vv.foreach {case v: Double =>//0不進行保存if (v != 0.0) {indices += curvalues += v}cur += 1case vec: Vector =>vec.foreachActive { case (i, v) =>//0不進行保存if (v != 0.0) {indices += cur + ivalues += v}}cur += vec.sizecase null =>throw new SparkException("Values to assemble cannot be null.")case o =>throw new SparkException(s"$o of type ${o.getClass.getName} is not supported.")}Vectors.sparse(cur, indices.result(), values.result()).compressed}

不占用存儲空間的值，也是某種意義上的一種缺失值。SparseVector作為Spark ML中的數組的保存格式，被所有的算法組件使用，包括XGBoost on Spark。而事實上XGBoost on Spark也的確將Sparse Vector中的0值直接當作缺失值進行處理：

val instances: RDD[XGBLabeledPoint] = dataset.select(col($(featuresCol)),col($(labelCol)).cast(FloatType),baseMargin.cast(FloatType),weight.cast(FloatType)).rdd.map { case Row(features: Vector, label: Float, baseMargin: Float, weight: Float) =>val (indices, values) = features match {//SparseVector格式，僅僅將非0的值放入XGBoost計算case v: SparseVector => (v.indices, v.values.map(_.toFloat))case v: DenseVector => (null, v.values.map(_.toFloat))}XGBLabeledPoint(label, indices, values, baseMargin = baseMargin, weight = weight)}

XGBoost on Spark將SparseVector中的0值作為缺失值為什么會引入不穩定的問題呢？

重點來了，Spark ML中對Vector類型的存儲是有優化的，它會自動根據Vector數組中的內容選擇是存儲為SparseVector，還是DenseVector。也就是說，一個Vector類型的字段，在Spark保存時，同一列會有兩種保存格式：SparseVector和DenseVector。而且對于一份數據中的某一列，兩種格式是同時存在的，有些行是Sparse表示，有些行是Dense表示。選擇使用哪種格式表示通過下述代碼計算得到：

/*** Returns a vector in either dense or sparse format, whichever uses less storage.*/@Since("2.0.0")def compressed: Vector = {val nnz = numNonzeros// A dense vector needs 8 * size + 8 bytes, while a sparse vector needs 12 * nnz + 20 bytes.if (1.5 * (nnz + 1.0) < size) {toSparse} else {toDense}}

在XGBoost on Spark場景下，默認將Float.NaN作為缺失值。如果數據集中的某一行存儲結構是DenseVector，實際執行時，該行的缺失值是Float.NaN。而如果數據集中的某一行存儲結構是SparseVector，由于XGBoost on Spark僅僅使用了SparseVector中的非0值，也就導致該行數據的缺失值是Float.NaN和0。

也就是說，如果數據集中某一行數據適合存儲為DenseVector，則XGBoost處理時，該行的缺失值為Float.NaN。而如果該行數據適合存儲為SparseVector，則XGBoost處理時，該行的缺失值為Float.NaN和0。

即，數據集中一部分數據會以Float.NaN和0作為缺失值，另一部分數據會以Float.NaN作為缺失值！?也就是說在XGBoost on Spark中，0值會因為底層數據存儲結構的不同，同時會有兩種含義，而底層的存儲結構是完全由數據集決定的。

因為線上Serving時，只能設置一個缺失值，因此被選為SparseVector格式的測試集，可能會導致線上Serving時，計算結果與期望結果不符。

4. 問題解決

查了一下XGBoost on Spark的最新源碼，依然沒解決這個問題。

趕緊把這個問題反饋給XGBoost on Spark， 同時修改了我們自己的XGBoost on Spark代碼。

val instances: RDD[XGBLabeledPoint] = dataset.select(col($(featuresCol)),col($(labelCol)).cast(FloatType),baseMargin.cast(FloatType),weight.cast(FloatType)).rdd.map { case Row(features: Vector, label: Float, baseMargin: Float, weight: Float) =>//這里需要對原來代碼的返回格式進行修改val values = features match {//SparseVector的數據，先轉成Densecase v: SparseVector => v.toArray.map(_.toFloat)case v: DenseVector => v.values.map(_.toFloat)}XGBLabeledPoint(label, null, values, baseMargin = baseMargin, weight = weight)} /*** Converts a [[Vector]] to a data point with a dummy label.** This is needed for constructing a [[ml.dmlc.xgboost4j.scala.DMatrix]]* for prediction.*/def asXGB: XGBLabeledPoint = v match {case v: DenseVector =>XGBLabeledPoint(0.0f, null, v.values.map(_.toFloat))case v: SparseVector =>//SparseVector的數據，先轉成DenseXGBLabeledPoint(0.0f, null, v.toArray.map(_.toFloat))}

問題得到解決，而且用新代碼訓練出來的模型，評價指標還會有些許提升，也算是意外之喜。

希望本文對遇到XGBoost缺失值問題的同學能夠有所幫助，也歡迎大家一起交流討論。

作者簡介

• 兆軍，美團配送事業部算法平臺團隊技術專家。

招聘信息

美團配送事業部算法平臺團隊，負責美團一站式大規模機器學習平臺圖靈平臺的建設。圍繞算法整個生命周期，利用可視化拖拽方式定義模型訓練和預測流程，提供強大的模型管理、線上模型預測和特征服務能力，提供多維立體的AB分流支持和線上效果評估支持。團隊的使命是為算法相關同學提供統一的，端到端的，一站式自助服務平臺，幫助算法同學降低算法研發復雜度，提升算法迭代效率。

總結

以上是生活随笔為你收集整理的XGBoost缺失值引发的问题及其深度分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。