spark中的println失效问题解决
生活随笔
收集整理的這篇文章主要介紹了
spark中的println失效问题解决
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
我們知道,
spark中的println會被控制臺忽略.
代碼如下:
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession} import org.apache.spark.sql.functions._ // for lit(), first(), etc. import org.apache.log4j.Logger import org.apache.log4j.Levelobject RunIntro extends Serializable {def main(args: Array[String]): Unit = {prints(spark,"------------來看下這個復雜的SQL語句-----------------")val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")} def prints(spark:SparkSession,log:String) : Unit = {var rdd= spark.sparkContext.parallelize(List(log))rdd.collect().foreach(println)//Spark里面,必須兩句話配合才能輸出. }}實際項目的時候,把上面的prints函數拷貝到自己的工程里面,
然后一句:
就行了.
總結
以上是生活随笔為你收集整理的spark中的println失效问题解决的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 日常生活中如何获得低咖啡因的茶叶
- 下一篇: scala中的算术符重载代码详细解释