如何在Eclipse中使用Maven工程連接遠程的Spark

本地Spark跑不會出現什么問題，但是切換到服務器上各種問題。

異常

java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type

org.apache.spark.api.java.function.FlatMapFunction in instance of

org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1

修改pom.xml文件

在project中添加下方xml，然后右擊項目執行-> Run as -> maven claen && maven install

org.apache.maven.plugins maven-compiler-plugin 3.11.81.8 maven-assembly-plugin jar-with-dependenciesmake-assemblypackagesingle

添加jars路徑

String jarPath = "打包成功之后的項目jar文件" JavaSparkContext jsc = new JavaSparkContext(new SparkConf() .setMaster("spark://服務器地址:端口") .setJars(new String[] {jarPath}) .setAppName("Classification"));

然后在執行

總結

以上是生活随笔為你收集整理的连接maven_如何在Eclipse中使用Maven工程连接远程的Spark的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。