http://ihoge.cn/2018/ML1.html

協同過濾算法

? 獲取spark自帶的MovieLens數據集，其中每行包含一個用戶、一個電影、一個該用戶對該電影的評分以及時間戳。我們使用默認的ALS.train() 方法，即顯性反饋（默認implicitPrefs 為false）來構建推薦模型并根據模型對評分預測的均方根誤差來對模型進行評估。

導入需要的包：

import org.apache.spark.ml.evaluation.RegressionEvaluator import org.apache.spark.ml.recommendation.ALS

根據數據結構創建讀取規范

創建一個Rating類型，即[Int, Int, Float, Long];然后建造一個把數據中每一行轉化成Rating類的函數。

case class Rating(userId: Int, movieId: Int, rating: Float, timestamp: Long) def parseRating(str: String): Rating = {val fields = str.split("::")assert(fields.size == 4)Rating(fields(0).toInt, fields(1).toInt, fields(2).toFloat, fields(3).toLong)}

讀取數據：

導入implicits，讀取MovieLens數據集，把數據轉化成Rating類型；

import spark.implicits._ val ratings = spark.sparkContext.textFile("file:///home/hduser/spark/data/mllib/als/sample_movielens_ratings.txt").map(parseRating).toDF()

然后打印數據

ratings.show()

構建模型

把MovieLens數據集劃分訓練集和測試集

val Array(training, test) = ratings.randomSplit(Array(0.8, 0.2))

使用ALS來建立推薦模型，這里我們構建了兩個模型，一個是顯性反饋，一個是隱性反饋

val alsExplicit = new ALS().setMaxIter(5).setRegParam(0.01).setUserCol("userId"). setItemCol("movieId").setRatingCol("rating") val alsImplicit = new ALS().setMaxIter(5).setRegParam(0.01).setImplicitPrefs(true). setUserCol("userId").setItemCol("movieId").setRatingCol("rating")

在 ML 中的實現有如下的參數:

• numBlocks 是用于并行化計算的用戶和商品的分塊個數 (默認為10)。
• rank 是模型中隱語義因子的個數（默認為10）。
• maxIter 是迭代的次數（默認為10）。
• regParam 是ALS的正則化參數（默認為1.0）。
• implicitPrefs 決定了是用顯性反饋ALS的版本還是用適用隱性反饋數據集的版本（默認是false，即用顯性反饋）。
• alpha 是一個針對于隱性反饋 ALS 版本的參數，這個參數決定了偏好行為強度的基準（默認為1.0）。

• nonnegative 決定是否對最小二乘法使用非負的限制（默認為false）。

  可以調整這些參數，不斷優化結果，使均方差變小。比如：imaxIter越大，regParam越 小，均方差會越小，推薦結果較優。

接下來，把推薦模型放在訓練數據上訓練：

val modelExplicit = alsExplicit.fit(training) val modelImplicit = alsImplicit.fit(training)

模型預測

使用訓練好的推薦模型對測試集中的用戶商品進行預測評分，得到預測評分的數據集

val predictionsExplicit = modelExplicit.transform(test) val predictionsImplicit = modelImplicit.transform(test)

我們把結果輸出，對比一下真實結果與預測結果：

predictionsExplicit.show() predictionsImplicit.show()

模型評估

通過計算模型的均方根誤差來對模型進行評估，均方根誤差越小，模型越準確：

val evaluator = new RegressionEvaluator().setMetricName("rmse").setLabelCol("rating"). setPredictionCol("prediction") val rmseExplicit = evaluator.evaluate(predictionsExplicit) val rmseImplicit = evaluator.evaluate(predictionsImplicit)

打印出兩個模型的均方根誤差 ：

println(s"Explicit:Root-mean-square error = $rmseExplicit") println(s"Implicit:Root-mean-square error = $rmseImplicit")

可以看到打分的均方差值為1.69和1.80左右。由于本例的數據量很少，預測的結果和實際相比有一定的差距。

總結

以上是生活随笔為你收集整理的Spark ML - 协同过滤的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。