Spark集群搭建+基于zookeeper实现高可用HA
生活随笔
收集整理的這篇文章主要介紹了
Spark集群搭建+基于zookeeper实现高可用HA
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
vi spark-env.sh(三臺都要)
export JAVA_HOME=/usr/java/jdk1.8.0_20/export SCALA_HOME=/home/iespark/hadoop_program_files/scala-2.10.6/export HADOOP_HOME=/home/iespark/hadoop_program_files/hadoop-2.6.0export HADOOP_CONF_DIR=/home/iespark/hadoop_program_files/hadoop-2.6.0/etc/hadoop#export SPARK_MASTER_IP=hadoop5(設置了zookeeper這行不用了,注釋掉)export SPARK_DAEMON_JAVA_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181 –Dspark.deploy.zookeeper.dir=/spark”export SPARK_WORKER_MEMORY=2gexport SPARK_EXECUTOR_MEMORY=2gexport SPARK_DRIVER_MEMORY=2gexport SPARK_WORKER_CORES=1#export SPARK_PID_DIR=/home/iespark/hadoop_program_files/sparkdata參考鏈接:https://blog.csdn.net/lishuan182/article/details/52331333
?
總結
以上是生活随笔為你收集整理的Spark集群搭建+基于zookeeper实现高可用HA的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: zookeeper实现动态获取服务器列表
- 下一篇: kafka安装、配置、启动、常用命令及s