spark-shell?--master yarn啟動(dòng)后，

代碼如下:

scala> ?var rdd1=sc.makeRDD(1 to 4,2)

scala> rdd1.foreach{x=>println(x+4)}

scala> var rdd2=sc.makeRDD(1 to 12,3)

scala> ?rdd2.foreachPartition{x=>println("--------------")}

scala> ?rdd2.foreachPartition{x=>println(x.size)}

在交互式界面我們看不到任何結(jié)果，那么結(jié)果在哪里呢？

打開(kāi)spark的web UI

master:8088

然后選擇右下方的兩個(gè)stdout

因?yàn)槭莝park on yarn

所以當(dāng)你點(diǎn)擊stdout的時(shí)候，連接會(huì)跳轉(zhuǎn)回yarn界面。

?

可以看到，兩臺(tái)機(jī)子的結(jié)果是:

5 6 7 8

和 4 4 4 4

總結(jié)

以上是生活随笔為你收集整理的spark的foreach(println)看不到输出结果的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。