部分代碼如下:

def main(args: Array[String]): Unit = {Logger.getLogger("org").setLevel(Level.OFF)Logger.getLogger("akka").setLevel(Level.OFF)Logger.getRootLogger().setLevel(Level.ERROR) //這里是用來抑制一大堆log信息的. val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").getOrCreate();spark.sparkContext.setLogLevel("ERROR")val hadoopConf = spark.sparkContext.hadoopConfigurationhadoopConf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)hadoopConf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)import spark.implicits._val rdd= spark.sparkContext.parallelize(List("------------先大致看下數(shù)據(jù)-----------------"))rdd.collect().foreach(println)

就是上面代碼的最后兩句,這兩句就可以像一般print語句一樣來使用了.

注意,直接println是會被spark忽略的,并不會輸出到控制臺上面

總結(jié)

以上是生活随笔為你收集整理的spark中用println输出一些控制信息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。