使用代碼：

val file = spark.sparkContext.textFile("file:///home/iie4bu/data/hello.txt") val wordCounts = file.flatMap(line => line.split(",")).map((word => (word,1))).reduceByKey(_ + _) wordCounts.collect

可以看到有兩個Worker在運行這個作業

這個Job：

總結

以上是生活随笔為你收集整理的spark 2.4.5 简单使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。