Hadoop集群如何启动
Hadoop集群如何啟動
1 hadoop軟件安裝的目錄:/opt/app
有如下軟件:hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2
集群1(分析集群)啟動
依次zookper、hadoop服務、spark、azkaban
1) 啟動和停止zookeeper
/opt/app/zookeeper-3.4.6/bin/zkServer.sh start(啟動)
/opt/app/zookeeper-3.4.6/bin/zkServer.sh stop (停止)
/opt/app/zookeeper-3.4.6/bin/zkServer.sh status (查看狀態)
注意:zookper需要在部署zookper服務器上單獨啟動,不能一次啟動所有;
部署Zookper的服務器為奇數,其中一臺為leader,其他為follower
啟動成功,輸入jps,出現quorumpeermain服務
2)一次性啟動和停止所有機器所有其他hadoop服務
(namenode esourcemanagerdatanode odemanagerjournalnodewebappproxyserverjobhistoryserver)
/opt/app/hadoop/sbin/start-all.sh(啟動)
/opt/app/hadoop/sbin/start-all.sh(停止)
注意:可以在集群中任何一臺機器上運行
啟動完成后,可以進去集群。輸入jps,查看服務啟動情況
Namenode有2個,其中1作主namenode,1個作輔namenode(Secondarynamenode)
輔助namenode上的resourcemanager通過start-all.sh可能啟動不了,需要進入輔namenode上手動啟動(/opt/app/hadoop/sbin/hadoop-daemon.sh startresourcemanager)
A一次性啟動所有spark服務(master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh(啟動所有的master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/stop-all.sh(停止所有的master和worker)
/opt/app/spark-2.1.0-bin-hadoop2.4/sbin/start-all.sh(啟動所有的master和worker)
B單獨啟動spark服務
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/spark-daemon.sh start mater spark://namenode01:7077
或者/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-master.sh spark://namenode01:7077(啟動master)
/opt/app/ spark-2.1.0-bin-hadoop2.4/sbin/start-slave.sh(啟動worker)
/opt/app/azkaban/executor/bin/azkaban-executor-start.sh(啟動Azkaban Executor Server)
/opt/app/azkaban/web/bin/azkaban-web-start.sh(啟動Azkaban Web Server)
A一次性啟動namenode和datanode
/opt/app/hadoop/sbin/start-dfs.sh(啟動)
/opt/app/hadoop/sbin/stop-dfs.sh(停止)
B單獨啟動每臺機器的namenode和datanode
/opt/app/hadoop/sbin/hadoop-daemon.sh start namenode(啟動namenode)
/opt/app/hadoop/sbin/hadoop-daemon.sh start datanode(啟動datanode)
C一次性啟動resourcemanager和nodemanager
/opt/app/hadoop/sbin/start-yarn.sh(啟動)
/opt/app/hadoop/sbin/stop-yarn.sh(停止)
D單獨啟動每臺機器的resourcemanager和nodemanager
/opt/app/hadoop/sbin/yarn-daemon.sh start resourcemanager(啟動resourcemanager)
/opt/app/hadoop/sbin/yarn-daemon.sh start nodemanager(啟動nodemanager)
E單獨啟動JournalNode
/opt/app/hadoop/sbin/hadoop-daemon.sh start JournalNode(啟動JournalNode)
F單獨啟動HistoryServer
/opt/app/hadoop/sbin/mr-jobhistory-daemon.sh start(啟動HistoryServer)
G 單獨啟動proxyserver
/opt/app/hadoop/sbin/yarn-daemon.sh proxyserver(啟動proxyserver)
注:hadoop-daemon.sh命令可以啟動如下服務
namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc
/
總結
以上是生活随笔為你收集整理的Hadoop集群如何启动的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 高恪一键管控之封杀随身wifi与电视盒子
- 下一篇: 关于携程多玩对接-订单对接