• Spark集群完全分布式安裝部署
• 下載安裝
• 配置Spark
  • 1spark-envsh配置
  • 2slaves配置
  • 3profile配置
• 復制到其他節點
• 測試
• 總結

Spark集群完全分布式安裝部署

本文中所提到的Spark集群所用的系統環境是Centos6.5，共4個節點，前提是Hadoop、JDK都已經安裝配置好了，操作都是在hadoop用戶下進行（要保證spark安裝目錄的所屬是hadoop用戶，權限也要開放，在Hadoop配置的文章中提到過用chown和chmod命令進行設置，請回看?Hadoop全分布集群搭建（3）——Hadoop安裝與配置）。

節點情況在Hadoop全分布集群搭建（1）——設置主機名與域名解析中有介紹，如下：

節點名稱hostNameIP地址

Master	Master	192.168. 101.42
Slave1	Slave1	192.168. 101.40
Slave2	Slave2	192.168. 101.41
Slave3	Slave3	192.168. 101.43

1.下載安裝

從官網http://spark.apache.org/downloads.html下載壓縮包，由于我的Hadoop版本是2.6.0，所以我們對應下載Pre-built for Hadoop 2.6 and later版本的spark-1.6.1的tgz包，下載后解壓，重命名為spark-1.6.1，并復制到/usr/soft目錄下。

2.配置Spark

2.1spark-env.sh配置

進入/usr/soft/spark-1.6.1/conf目錄下，復制一個spark-env.sh.template的副本，命名為spark-env.sh,編輯該文件，再文件最后加上下面的語句：

#JAVA_HOME export JAVA_HOME=/usr/soft/jdk #Hadoop_HOME export HADOOP_HOME=/usr/soft/hadoop-2.6.0 #Scala_HOME export SCALA_HOME=/usr/soft/scala-2.12.0 #Spark_HOME export SPARK_HOME=/usr/soft/spark-1.6.1 export HADOOP_CONF_DIR=/usr/soft/hadoop-2.6.0 export SPARK_MASTER_IP=Master #Master的IP，Master代表了192.168.101.142，只是用了它的hostname export SPARK_WORKER_MEMORY=1g #內存 export SPARK_WORKER_CORES=2 #cpus核心數 export SPARK_JAR=/usr/soft/spark-1.6.1/lib/spark-assembly-1.6.1-hadoop2.6.0.jar export SPARK_DIST_CLASSPATH=$(/usr/soft/hadoop-2.6.0/bin/hadoop classpath)

2.2slaves配置

conf同目錄下，賦值slaves.template文件的副本，命名為slaves，編輯，在最后添加如下內容：

Master #表示Master既是Master，也是Worker Slave1 Slave2 Slave3

2.3profile配置

執行命令

vim /etc/profile #編輯/etc/profile文件

添加環境變量如下：

#Spark環境變量 export SPARK_HOME=/usr/BigData/spark-1.6.0 #在Path中加入Spark的路徑 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

3.復制到其他節點

我們在Master節點上安裝配置完成Spark后，將整個spark-1.6.1目錄拷貝到其他節點，并在各個節點上更改/etc/profile文件中的環境變量即可。（可能需要root用戶）

4.測試

在Master節點啟動集群

/opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

• 1

完成之后，Master節點上用jps命令可以看到，多了Master與Worker，Slave節點上多了Worker。也可以打開瀏覽器輸入Master:8080，看到如下活動的Workers，證明安裝配置并啟動成功

5.總結

如果沒有啟動成功，記得去看spark安裝目錄下logs目錄中的日志文件，看是哪里出了錯，網絡問題、端口占用或者未開放、配置文件配置出錯，防火墻攔截等等可能的情況，需要再去琢磨一下了。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Spark集群完全分布式安装部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。