環(huán)境說明

spark.version=2.4.4

scala.version=2.11.12

文件示例

{"name": "Michael", "age": 12}{"name": "Andy", "age": 13}{"name": "Justin", "age": 8, "friend_cnt": 2,"friends": [{"name": "Jobs"}, {"name": "Jacky"}]}

應(yīng)用代碼

object App { def main(args: Array[String]): Unit = { import org.apache.spark.sql.SparkSession import org.apache.spark.storage.StorageLevel import org.apache.spark.HashPartitioner import org.apache.spark.Partitioner val spark = SparkSession.builder().appName("App").master("local[4]").getOrCreate() spark.sparkContext.setLogLevel("ERROR") val jsonData = spark.read.json( "C:bdsparkest3datainputjson" ) jsonData.createOrReplaceTempView("tmp_view") jsonData.printSchema() spark.sql( "select name,friends[0].name from tmp_view where friend_cnt>0" ).collect().foreach(println) }}

運行結(jié)果

root

|-- age: long (nullable = true)

|-- friend_cnt: long (nullable = true)

|-- friends: array (nullable = true)

| |-- element: struct (containsNull = true)

| | |-- name: string (nullable = true)

|-- name: string (nullable = true)

[Justin,Jobs]

補充說明

• jsonData是一個DataFrame(org.apache.spark.sql.DataFrame)，簡稱df

• printSchema()可以輸出該df的結(jié)構(gòu)信息

• 可以通過createOrReplaceTempView將df注冊為一個臨時表，通過用 [element] 指定下標來訪問array中的元素，通過.訪問struct中的嵌套元素，如friends[0].name

總結(jié)

以上是生活随笔為你收集整理的rapidjson读取json文件_SPARK入门 - json文件读取的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。