def main(args: Array[String]): Unit = {//創建配置對象val conf = new SparkConf().setAppName("SparkSQL01_demo").setMaster("local[*]")val session = SparkSession.builder().config(conf).getOrCreate()//創建RDD (session里包含sparkContext，因為DF底層包含RDD)val rdd1 = session.sparkContext.makeRDD(List(("chun",21),("chun1",23),("chun3",22)))//這里RDD轉換DF/DS需要引入隱式轉換（注意：Scala的import可以寫在函數內部，session是sparksession對象）import session.implicits._//RDD轉換 成DFval df = rdd1.toDF("name","age")//創建全局臨時視圖df.createGlobalTempView("people")//sql語句session.sql("select * from global_temp.people").show//創建一個新的session看能不能使用當前視圖session.newSession().sql("select name from global_temp.people").show()df.printSchema()df.select("age").show() //用方法的方式來代替sqldf.select($"age"+1).show()//想查詢年齡后加1，用$來引用當前數據，要不然是字符串拼接查詢的是age1這個字段，會報錯df.filter($"age">22).show()//DF轉化成DS 先創建樣例類val ds:Dataset[User] = df.as[User]ds.select("*").show()ds.printSchema()//RDD直接轉換成DS（用樣例類）//val ds = rdd1.toDS()//session.stop()}//樣例類在DF結構基礎上加上屬性case class User(name:String,age:Int)

總結

以上是生活随笔為你收集整理的SparkSQL练习+理解+详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。