sparksql中自定義函數(shù)

import org.apache.spark.sql.api.java.UDF1 import org.apache.spark.sql.types.StringType import org.apache.spark.sql.{DataFrame, SparkSession}//TODO:自定義sparksql的UDF函數(shù) 一對一的關(guān)系 object SparkSQLFunction {def main(args: Array[String]): Unit = {//1、創(chuàng)建SparkSessionval sparkSession: SparkSession = SparkSession.builder().appName("SparkSQLFunction").master("local[2]").getOrCreate()//2、構(gòu)建數(shù)據(jù)源生成DataFrameval dataFrame: DataFrame = sparkSession.read.text("E:\\data\\test_udf_data.txt")//3、注冊成表dataFrame.createTempView("t_udf")//4、實現(xiàn)自定義的UDF函數(shù)//小寫轉(zhuǎn)大寫sparkSession.udf.register("low2Up",new UDF1[String,String]() {override def call(t1: String): String = {t1.toUpperCase}},StringType)//大寫轉(zhuǎn)小寫sparkSession.udf.register("up2low",(x:String)=>x.toLowerCase)//4、把數(shù)據(jù)文件中的單詞統(tǒng)一轉(zhuǎn)換成大小寫sparkSession.sql("select value from t_udf").show()sparkSession.sql("select low2Up(value) from t_udf").show()sparkSession.sql("select up2low(value) from t_udf").show()sparkSession.stop()} }

總結(jié)

以上是生活随笔為你收集整理的sparksql自定义函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。