DataFrame不同風格比較

一，DSL風格語法

//加載數據 val rdd1=sc.textFile("/person.txt").map(x=>x.split(" ")) //定義一個樣例類 case class Person(id:String,name:String,age:Int) //把rdd與樣例類進行關聯 val personRDD=rdd1.map(x=>Person(x(0),x(1),x(2).toInt)) //把rdd轉換成DataFrame val personDF=personRDD.toDF//打印schema信息 personDF.printSchema//展示數據 personDF.show//查詢指定的字段 personDF.select("name").show personDF.select($"name").show personDF.select(col("name").show//實現age+1personDF.select($"name",$"age",$"age"+1).show //實現age大于30過濾personDF.filter($"age" > 30).show//按照age分組統計次數personDF.groupBy("age").count.show //按照age分組統計次數降序personDF.groupBy("age").count().sort($"count".desc)show

二，SQL風格語法

//DataFrame注冊成表 personDF.createTempView("person")//使用SparkSession調用sql方法統計查詢 spark.sql("select * from person").show spark.sql("select name from person").show spark.sql("select name,age from person").show spark.sql("select * from person where age >30").show spark.sql("select count(*) from person where age >30").show spark.sql("select age,count(*) from person group by age").show spark.sql("select age,count(*) as count from person group by age").show spark.sql("select * from person order by age desc").show 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的DataFrame不同风格比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。