搭建

• Standalone【注】jdk1.8

1).下載安裝包，解壓

?

改名為

進(jìn)入安裝包的conf目錄下，修改slaves文件，添加從節(jié)點(diǎn)。保存。

vi slaves

修改spark-env.sh

SPARK_MASTER_IP:master的ip

SPARK_MASTER_PORT:提交任務(wù)的端口，默認(rèn)是7077

SPARK_WORKER_CORES：每個(gè)worker從節(jié)點(diǎn)能夠支配的core的個(gè)數(shù)

SPARK_WORKER_MEMORY:每個(gè)worker從節(jié)點(diǎn)能夠支配的內(nèi)存數(shù)

同步到其他節(jié)點(diǎn)上

scp -r spark henu2:`pwd`

scp -r spark henu3:`pwd`

?

啟動(dòng)集群

進(jìn)入sbin目錄下，執(zhí)行當(dāng)前目錄下的./start-all.sh

【注】如果報(bào)JAVA_HOME is not set錯(cuò)誤，https://blog.csdn.net/qq_41946557/article/details/102653163

啟動(dòng)成功：

搭建客戶端

將spark安裝包原封不動(dòng)的拷貝到一個(gè)新的節(jié)點(diǎn)上，然后，在新的節(jié)點(diǎn)上提交任務(wù)即可。

【注意】

• 8080是Spark WEBUI界面的端口，7077是Spark任務(wù)提交的端口。
• 修改master的WEBUI端口：
  • 修改start-master.sh即可。

• 也可以在Master節(jié)點(diǎn)上導(dǎo)入臨時(shí)環(huán)境變量，只是作用于之后的程序，重啟就無效了。

刪除臨時(shí)環(huán)境變量：

• yarn

測試

Standalone提交命令：

./spark-submit --master spark://henu1:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

YARN提交命令：

./spark-submit --master yarn --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 10000

【補(bǔ)充知識(shí)】

總結(jié)

以上是生活随笔為你收集整理的Spark _04集群搭建及测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。