Spark On YARN 集群安装部署
2019獨角獸企業重金招聘Python工程師標準>>>
最近畢設需要用到 Spark 集群，所以就記錄下了部署的過程。我們知道 Spark 官方提供了三種集群部署方案： Standalone, Mesos, YARN。其中 Standalone 最為方便，本文主要講述結合 YARN 的部署方案。
軟件環境：
Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)
Hadoop: 2.6.0
Spark: 1.3.0
0 寫在前面
本例中的演示均為非 root 權限，所以有些命令行需要加 sudo，如果你是 root 身份運行，請忽略 sudo。下載安裝的軟件建議都放在 home 目錄之上，比如~/workspace中，這樣比較方便，以免權限問題帶來不必要的麻煩。
1. 環境準備
修改主機名
我們將搭建1個master，2個slave的集群方案。首先修改主機名vi /etc/hostname，在master上修改為master，其中一個slave上修改為slave1，另一個同理。
配置hosts
在每臺主機上修改host文件
vi /etc/hosts
10.1.1.107 ? ? ?master
10.1.1.108 ? ? ?slave1
10.1.1.109 ? ? ?slave2
配置之后ping一下用戶名看是否生效
ping slave1
ping slave2
SSH 免密碼登錄
安裝Openssh server
sudo apt-get install openssh-server
在所有機器上都生成私鑰和公鑰
ssh-keygen -t rsa ? #一路回車
需要讓機器間都能相互訪問，就把每個機子上的id_rsa.pub發給master節點，傳輸公鑰可以用scp來傳輸。
scp ~/.ssh/id_rsa.pub spark@master :~/.ssh/id_rsa.pub.slave1
在master上，將所有公鑰加到用于認證的公鑰文件authorized_keys中
cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys
將公鑰文件authorized_keys分發給每臺slave
scp ~/.ssh/authorized_keys spark@master :~/.ssh/
在每臺機子上驗證SSH無密碼通信
ssh master
ssh slave1
ssh slave2
如果登陸測試不成功，則可能需要修改文件authorized_keys的權限（權限的設置非常重要，因為不安全的設置安全設置,會讓你不能使用RSA功能 ）
chmod 600 ~/.ssh/authorized_keys
安裝 Java
從官網下載最新版 Java 就可以，Spark官方說明 Java 只要是6以上的版本都可以，我下的是 jdk-7u75-linux-x64.gz
在~/workspace目錄下直接解壓
tar -zxvf jdk-7u75-linux-x64.gz
修改環境變量sudo vi /etc/profile，添加下列內容，注意將home路徑替換成你的：
export WORK_SPACE=/home/spark/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.7.0_75
export JRE_HOME=/home/spark/work/jdk1.7.0_75/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
然后使環境變量生效，并驗證 Java 是否安裝成功
$ source /etc/profile ? #生效環境變量
$ java -version ? ? ? ? #如果打印出如下版本信息，則說明安裝成功
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
安裝 Scala
Spark官方要求 Scala 版本為 2.10.x，注意不要下錯版本，我這里下了 2.10.4，官方下載地址（可惡的天朝大局域網下載 Scala 龜速一般）。
同樣我們在~/workspace中解壓
tar -zxvf scala-2.10.4.tgz
再次修改環境變量sudo vi /etc/profile，添加以下內容：
export SCALA_HOME=$WORK_SPACE/scala-2.10.4
export PATH=$PATH:$SCALA_HOME/bin
同樣的方法使環境變量生效，并驗證 scala 是否安裝成功
$ source /etc/profile ? #生效環境變量
$ scala -version ? ? ? ?#如果打印出如下版本信息，則說明安裝成功
Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL
安裝配置 Hadoop YARN
下載解壓
從官網下載 hadoop2.6.0 版本，這里給個我們學校的鏡像下載地址。
同樣我們在~/workspace中解壓
tar -zxvf hadoop-2.6.0.tar.gz
配置 Hadoop
cd ~/workspace/hadoop-2.6.0/etc/hadoop進入hadoop配置目錄，需要配置有以下7個文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml
在hadoop-env.sh中配置JAVA_HOME
# The java implementation to use.
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75
在yarn-env.sh中配置JAVA_HOME
# some Java parameters
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75
在slaves中配置slave節點的ip或者host，
slave1
slave2
修改core-site.xml
<configuration>
? ? <property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://master:9000/</value>
? ? </property>
? ? <property>
? ? ? ? ?<name>hadoop.tmp.dir</name>
? ? ? ? ?<value>file:/home/spark/workspace/hadoop-2.6.0/tmp</value>
? ? </property>
</configuration>
修改hdfs-site.xml
<configuration>
? ? <property>
? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? <value>master:9001</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.namenode.name.dir</name>
? ? ? ? <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/name</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.datanode.data.dir</name>
? ? ? ? <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/data</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.replication</name>
? ? ? ? <value>3</value>
? ? </property>
</configuration>
修改mapred-site.xml
<configuration>
? ? <property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
? ? </property>
</configuration>
修改yarn-site.xml
<configuration>
? ? <property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
? ? ? ? <value>org.apache.hadoop.mapred.ShuffleHandler</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.address</name>
? ? ? ? <value>master:8032</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.scheduler.address</name>
? ? ? ? <value>master:8030</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.resource-tracker.address</name>
? ? ? ? <value>master:8035</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.admin.address</name>
? ? ? ? <value>master:8033</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.webapp.address</name>
? ? ? ? <value>master:8088</value>
? ? </property>
</configuration>
將配置好的hadoop-2.6.0文件夾分發給所有slaves吧
scp -r ~/workspace/hadoop-2.6.0 spark@slave1:~/workspace/
啟動 Hadoop
在 master 上執行以下操作，就可以啟動 hadoop 了。
cd ~/workspace/hadoop-2.6.0 ? ? #進入hadoop目錄
bin/hadoop namenode -format ? ? #格式化namenode
sbin/start-dfs.sh ? ? ? ? ? ? ? #啟動dfs?
sbin/start-yarn.sh ? ? ? ? ? ? ?#啟動yarn
驗證 Hadoop 是否安裝成功
可以通過jps命令查看各個節點啟動的進程是否正常。在 master 上應該有以下幾個進程：
$ jps ?#run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps
在每個slave上應該有以下幾個進程：
$ jps ? #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode
或者在瀏覽器中輸入 http://master:8088 ，應該有 hadoop 的管理界面出來了，并能看到 slave1 和 slave2 節點。
Spark安裝
下載解壓
進入官方下載地址下載最新版 Spark。我下載的是 spark-1.3.0-bin-hadoop2.4.tgz。
在~/workspace目錄下解壓
tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz
mv spark-1.3.0-bin-hadoop2.4 spark-1.3.0 ? ?#原來的文件名太長了，修改下
配置 Spark
cd ~/workspace/spark-1.3.0/conf ? ?#進入spark配置目錄
cp spark-env.sh.template spark-env.sh ? #從配置模板復制
vi spark-env.sh ? ? #添加配置內容
在spark-env.sh末尾添加以下內容（這是我的配置，你可以自行修改）：
export SCALA_HOME=/home/spark/workspace/scala-2.10.4
export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75
export HADOOP_HOME=/home/spark/workspace/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/spark/workspace/spark-1.3.0
SPARK_DRIVER_MEMORY=1G
注：在設置Worker進程的CPU個數和內存大小，要注意機器的實際硬件條件，如果配置的超過當前Worker節點的硬件條件，Worker進程會啟動失敗。
vi slaves在slaves文件下填上slave主機名：
slave1
slave2
將配置好的spark-1.3.0文件夾分發給所有slaves吧
scp -r ~/workspace/spark-1.3.0 spark@slave1:~/workspace/
啟動Spark
sbin/start-all.sh
驗證 Spark 是否安裝成功
用jps檢查，在 master 上應該有以下幾個進程：
$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager
在 slave 上應該有以下幾個進程：
$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager
進入Spark的Web管理頁面： http://master:8080
運行示例
#本地模式兩線程運行
./bin/run-example SparkPi 10 --master local[2]
#Spark Standalone 集群模式運行
./bin/spark-submit \
? --class org.apache.spark.examples.SparkPi \
? --master spark://master:7077 \
? lib/spark-examples-1.3.0-hadoop2.4.0.jar \
? 100
#Spark on YARN 集群上 yarn-cluster 模式運行
./bin/spark-submit \
? ? --class org.apache.spark.examples.SparkPi \
? ? --master yarn-cluster \ ?# can also be `yarn-client`
? ? lib/spark-examples*.jar \
? ? 10
注意 Spark on YARN 支持兩種運行模式，分別為yarn-cluster和yarn-client，具體的區別可以看這篇博文，從廣義上講，yarn-cluster適用于生產環境；而yarn-client適用于交互和調試，也就是希望快速地看到application的輸出。
轉載于:https://my.oschina.net/u/2529303/blog/540036
總結
以上是生活随笔為你收集整理的Spark On YARN 集群安装部署的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： myeclipse使用太卡问题
- 下一篇： 深度解析mysql登录原理