運行環境spark-shell

val p=spark.read.json("file:///root/spark-2.1.1-bin-hadoop2.7/examples/src/main/resources/people.json")p.show

方差和標準差
1. 求age平均值

import spark.sql val avgvule= sql("select avg(age) from people").collect.apply(0) (0).asInstanceOf[Double]

2.udf的函數

def subtraction2(variable:String):Double={ (variable.toDouble-avgvule)*(variable.toDouble-avgvule)}

3.注冊ufd函數

spark.udf.register("square",subtraction2 _)

4.方差運行

sql("select sum(square(age))/count(square(age)) as variance from people").createTempView("variance")

5.標準差

sql("select sqrt(*) from variance").show

最近發現 spark sql 自帶了方差和標準差的內置函數，自己重新卻重寫了一次。

總結

以上是生活随笔為你收集整理的spark-sql 方差和标准差的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。