使用spark讀取parquet文件時(shí)，例如讀取在file:///E:/test/clean文件夾下的文件：


而我們的文件內(nèi)容中的數(shù)據(jù)結(jié)構(gòu)是：

val struct = StructType(Array(StructField("uid", StringType),StructField("time", StringType),StructField("netType", StringType),StructField("ip", StringType),StructField("desc_type", StringType),StructField("day", StringType),StructField("num", LongType),StructField("city", StringType)))

但是當(dāng)我們讀取文件時(shí)：

object TopNStatJob {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()val accessDF = spark.read.format("parquet").load("file:///E:/test/clean")accessDF.printSchema()accessDF.show(false)spark.stop} }

控制臺(tái)輸出的schema信息是：

在之前定義的day類型是string，而讀取時(shí)的類型變成了integer。
因此需要修改：

val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()

總結(jié)

以上是生活随笔為你收集整理的SparkSQL读取文件时，数据字段类型调整的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。