請注意，Spark2.x是用Scala2.11預構建的，但2.4.2版本除外，它是用Scala2.12預構建的。Smark3.0+是用Scala2.12預構建的。
spark-env.sh中配置：

export SPARK_DIST_CLASSPATH=$(/opt/bigdata/hadoop-2.9.2/bin/hadoop classpath)

有了SPARK_DIST_CLASSPATH配置信息以后，Spark就可以把數據存儲到Hadoop分布式文件系統HDFS中，也可以從HDFS中讀取數據。如果沒有配置上面信息，Spark就只能讀寫本地數據，無法讀寫HDFS數據。

總結

以上是生活随笔為你收集整理的spark安装须知：SPARK_DIST_CLASSPATH配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。