Hadoop 00_hadoop伪分布式,完全分布式,HA搭建
偽分布式 (single node setup)
---------------------------
安裝jdk、配置環境變量,測試
rpm -i jdk-7u67-linux-x64.rpm
cd /usr/java/jdk1.7.0_67/
vi + /etc/profile
?? ?export JAVA_HOME=/usr/java/jdk1.7.0_67
?? ?PATH=$PATH:$JAVA_HOME/bin
. /etc/profile
免秘鑰
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
hadoop包安裝并配置環變:hadoop-2.6.5.tar.gz
tar xf hadoop-2.6.5.tar.gz -C /opt/sxt
vi + /etc/profile
?? ?export HADOOP_HOME=/opt/sxt/hadoop-2.6.5
?? ?PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
Hadoop的第二次JAVA_HOME 環境變量配置
cd /opt/sxt/hadoop-2.6.5/etc/hadoop
echo $JAVA_HOME
vi hadoop-env.sh
?? ?export JAVA_HOME=/usr/java/jdk1.7.0_67
vi mapred-env.sh
?? ?export JAVA_HOME=/usr/java/jdk1.7.0_67
?? ?
vi yarn-env.sh
?? ?export JAVA_HOME=/usr/java/jdk1.7.0_67
配置core-site.xml
vi core-site.xml
? ? <property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://node06:9000</value>
? ? </property>
? ? <property>
? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? <value>/var/sxt/hadoop/local</value>
? ? </property>
配置hdfs-site.xml
? ? ? ? ? ? ??
? ? <property>
? ? ? ? <name>dfs.replication</name>
? ? ? ? <value>1</value>
? ? </property>
? ? <property>
? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? <value>node06:50090</value>
? ? </property>
配置slaves文件
? ? ? ? ? ? ? ? ?vi slaves node06
格式化hdfs
? ? ? ? ? hdfs namenode -format ?(只能格式化一次,再次啟動集群不要執行)
啟動集群
? ? ? ? ?start-dfs.sh
角色進程查看:jps
幫助: hdfs?
? ? ? ?hdfs dfs ?? ?
查看web UI: IP:50070
? ? ?創建目錄:hdfs dfs ?-mkdir -p ?/user/root
?? ??? ?
? ? ?查看目錄: ?hdfs dfs -ls ? /
?? ?
? ? ?上傳文件: hdfs dfs -put ?hadoop-2.6.5.tar.gz ? /user/root?? ??? ??? ??? ?
? ??
? ? ? 停止集群:stop-dfs.sh
***************************************************************************************************
全分布安裝
---------------------------------------------
前期準備:
jdk
hostname
hosts
?? ?cat /etc/hosts
date
?? ?date -s "2019-9-29 14:09:50"
network
?? ?cat /etc/sysconfig/network
?? ??? ?NETWORKING=YES
?? ??? ?HOSTNAME=sxt0002
cat /etc/sysconfig/selinux
?? ?SELINUX=disabled
安全機制
?? ??? ?
firewall
windows 域名映射
節點: node06/07/08/09
全分布分配方案:
?? ??? ?NN?? ??? ?SNN?? ??? ?DN
NODE06?? ??? ?*
NODE07?? ??? ??? ??? ?*?? ??? ?*?? ?
NODE08?? ??? ??? ??? ??? ??? ?*
NODE09?? ??? ??? ??? ??? ??? ?*
節點狀態:
?? ?node06: 偽分布
?? ?node07/08/09 : ?ip配置完成
建立各節點通訊(hosts)
設置時間同步:date -s “xxxx-x-xx xx:xx:xx”
秘鑰分發:?
在每個節點上登錄一下自己:產生.ssh目錄
從node06向node07/node08/node09分發公鑰 (公鑰的名稱要變化)
scp ?id_dsa.pub ? node03:`pwd`/node06.pub
各節點把node01的公鑰追加到認證文件里:
cat ~/node06.pub ?>> ~/.ssh/authorized_keys
07/node08/node09安裝jdk環境,node06分發profile給其他節點,并重讀配置文件
分發hadoop部署程序2.6.5 到其他節點
copy node06 下的 hadoop 為 hadoop-local (管理腳本只會讀取hadoop目錄)
[root@node06 etc]# cp -r hadoop ? hadoop-local
配置core-site.xml
?? ?<property>
? ? ? ? ?? ?<name>hadoop.tmp.dir</name>
? ? ? ? ?? ?<value>/var/henu/hadoop/full</value>
? ? ?? ?</property>
配置hdfs-site.xml
?? ?<property>
? ? ?? ? ? ?<name>dfs.replication</name>
? ? ? ? ? ? <value>3</value>
? ? ? ? </property>
?? ?<property>
? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ? <value>node03:50090</value>
? ? ? ? </property>
配置slaves
分發sxt到其他07,08,09節點
格式化集群:hdfs namenode -format
啟動集群:start-dfs.sh
Jps ?查看各節點進程啟動情況
HA?
------------------------------------------
?? ??? ?NN1?? ??? ?NN2?? ??? ?DN?? ??? ?ZK?? ??? ?ZKFC?? ??? ?JNN
NODE06?? ??? ?*?? ??? ??? ??? ??? ??? ??? ??? ?*?? ??? ?*
NODE07?? ??? ??? ??? ?*?? ??? ?*?? ??? ?*?? ??? ?*?? ??? ?*
NODE08?? ??? ??? ??? ??? ??? ?*?? ??? ?*?? ??? ??? ??? ?*
NODE09?? ??? ??? ??? ??? ??? ?*?? ??? ?*
兩個nn節點免秘鑰
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
-------------------------
進入hadoop-2.6.5/etc目錄 (可以通過變量:cd $HADOOP_HOME)
拷貝hadoop 為 hadoop-full
hdfs.xml
---------------------------------------
去掉snn的配置
?<property>
? ? ? ? ? ? ? ? ? <name>dfs.namenode.secondary.http-address</name>
? ? ? ? ? ?? ? ?<value>node07:50090</value>
?</property>
增加:
<property>
? <name>dfs.nameservices</name>
? <value>mycluster</value>
</property>
<property>
? <name>dfs.ha.namenodes.mycluster</name>
? <value>nn1,nn2</value>
</property>
<property>
? <name>dfs.namenode.rpc-address.mycluster.nn1</name>
? <value>node06:8020</value>
</property>
<property>
? <name>dfs.namenode.rpc-address.mycluster.nn2</name>
? <value>node07:8020</value>
</property>
<property>
? <name>dfs.namenode.http-address.mycluster.nn1</name>
? <value>node06:50070</value>
</property>
<property>
? <name>dfs.namenode.http-address.mycluster.nn2</name>
? <value>node07:50070</value>
</property>
<property>
? <name>dfs.namenode.shared.edits.dir</name>
? <value>qjournal://node06:8485;node07:8485;node08:8485/mycluster</value>
</property>
<property>
? <name>dfs.journalnode.edits.dir</name>
? <value>/var/sxt/hadoop/ha/jn</value>
</property>
<property>
? <name>dfs.client.failover.proxy.provider.mycluster</name>
? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
? <name>dfs.ha.fencing.methods</name>
? <value>sshfence</value>
</property>
<property>
? <name>dfs.ha.fencing.ssh.private-key-files</name>
? <value>/root/.ssh/id_dsa</value>
</property>
<property>
? ?<name>dfs.ha.automatic-failover.enabled</name>
? ?<value>true</value>
?</property>
core-site.xml
-----------------------------------------
hadoop.tmp.dir的配置要變更:/var/sxt/hadoop-2.6/ha
<property>
? <name>fs.defaultFS</name>
? <value>hdfs://mycluster</value>
</property>
<property>
? ?<name>ha.zookeeper.quorum</name>
? ?<value>node07:2181,node08:2181,node09:2181</value>
</property>
分發 hdfs.xml 和core.xml 給其他節點
安裝zookeeper集群:
----------------------------
1.3節點 java 安裝?
2.所有集群節點創建目錄: mkdir opt/sxt ?
3.zk壓縮包解壓在其他路徑下::
?? ?#?? ?tar xf zookeeper-3.4.6.tar.gz -C /opt/sxt/
4.進入conf目錄,拷貝zoo_sample.cfg zoo.cfg 并配置
? ?dataDir,集群節點。
5.單節點配置環境變量、并分發 ZOOKEEPER_PREFIX,共享模式讀取profile?
6. 共享創建 /var/sxt/zk目錄,進入各自目錄 分別輸出1,2,3 至文件 myid
?? ?echo 1 > /var/sxt/zk/myid
?? ?...
7. 共享啟動zkServer.sh start 集群
8.啟動客戶端 help命令查看
6,7,8節點啟動jn 集群
-------------------------
hadoop-daemon.sh start journalnode
隨意找一個nn節點格式化:
[root@node06 hadoop]# hdfs namenode -format
啟動該節點:
[root@node06 hadoop]# hadoop-daemon.sh start namenode
另一nn節點同步:
[root@node07 sxt]# hdfs namenode -bootstrapStandby
(同步成功,會發現同步另一個nn節點的clusterID 不是秘鑰分發,而是同步過來的)
cat /var/sxt/hadoop/ha/dfs/name/current/VERSION
格式化zkfc,在zookeeper中可見目錄創建:
[root@node06 hadoop]# hdfs zkfc -formatZK
(ha.ActiveStandbyElector: Successfully created /hadoop-ha/mycluster in ZK.)
在zookeeper 客戶端可見:
[zk: localhost:2181(CONNECTED) 1] ls /
[hadoop-ha, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /hadoop-ha
[mycluster]
啟動hdfs集群;
start-dfs.sh
再次查看zk客戶端,可見:
[zk: localhost:2181(CONNECTED) 9] ls /hadoop-ha/mycluster
[ActiveBreadCrumb, ActiveStandbyElectorLock]
或者兩個目錄的數據,誰是主誰被創建:
[zk: localhost:2181(CONNECTED) 11] get /hadoop-ha/mycluster/ActiveBreadCrumb
mr-hd2.x yarn
------------------------------------------------
?? ??? ?NN1?? ??? ?NN2?? ??? ?DN?? ??? ?ZK?? ??? ?ZKFC?? ??? ?JNN?? ??? ?RS?? ??? ?NM
NODE06?? ??? ?*?? ??? ??? ??? ??? ??? ??? ??? ?*?? ??? ?*?? ??? ??? ??? ?
NODE07?? ??? ??? ??? ?*?? ??? ?*?? ??? ?*?? ??? ?*?? ??? ?*?? ??? ??? ??? ?*
NODE08?? ??? ??? ??? ??? ??? ?*?? ??? ?*?? ??? ??? ??? ?*?? ??? ?*?? ??? ?*
NODE09?? ??? ??? ??? ??? ??? ??? ??? ?*?? ??? ??? ??? ??? ??? ?*?? ??? ?*
node06:?
兩個rm節點互免秘鑰:
08節點 .ssh 目錄下: ssh-keygen -t dsa -P '' -f ./id_dsa
?? ??? ? ? ?cat ~id_dsa.pub >> authorized_keys
?? ??? ? ? ?scp id_dsa.pub root@node09:`pwd`/node08.pub
09節點 .ssh 目錄下 :
?? ??? ?cat node08.pub >> authorized_keys
?? ??? ?ssh-keygen -t dsa -P '' -f ./id_dsa
?? ??? ?cat ~id_dsa.pub >> authorized_keys
?? ? ? ? ? ?scp id_dsa.pub root@node08:`pwd`/node09.pub
?? ??? ?
08節點 .ssh 目錄下:
?? ??? ?cat node09.pub >> authorized_keys
(別忘了退出)
重命名: ?mv mapred-site.xml.template mapred-site.xml ?
mapred-site.xml
==============================
<property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
</property>
=================================
yarn-site.xml:
=================================
<property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
? ? </property>
<property>
? ?<name>yarn.resourcemanager.ha.enabled</name>
? ?<value>true</value>
?</property>
?<property>
? ?<name>yarn.resourcemanager.cluster-id</name>
? ?<value>cluster1</value>
?</property>
?<property>
? ?<name>yarn.resourcemanager.ha.rm-ids</name>
? ?<value>rm1,rm2</value>
?</property>
?<property>
? ?<name>yarn.resourcemanager.hostname.rm1</name>
? ?<value>node08</value>
?</property>
?<property>
? ?<name>yarn.resourcemanager.hostname.rm2</name>
? ?<value>node09</value>
?</property>
?<property>
? ?<name>yarn.resourcemanager.zk-address</name>
? ?<value>node07:2181,node08:2181,node09:2181</value>
?</property>
分發兩個文件到:07,08,09節點
scp maprexxxx ? yarn-xxx node07:`pwd`
scp maprexxxx ? yarn-xxx node08:`pwd`
scp maprexxxx ? yarn-xxx node09:`pwd`
啟動:node06:
1 zookeeper
2 hdfs (注意,有一個腳本不要用,start-all)start-dfs.sh
? 如果nn 和 nn2沒有啟動,需要在node06,node07分別手動啟動:
? hadoop-daemon.sh start namenode?? ?
3 start-yarn.sh (啟動nodemanager)
4 在08,09節點分別執行腳本: yarn-daemon.sh start resourcemanager
UI訪問: ip:8088
停止:
node06: stop-dfs.sh?
node06: stop-yarn.sh (停止nodemanager)
node07,node08: yarn-daemon.sh stop resourcemanager (停止resourcemanager)
總結
以上是生活随笔為你收集整理的Hadoop 00_hadoop伪分布式,完全分布式,HA搭建的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 异常处理——上传文件到HDFS,put:
- 下一篇: 异常处理——MysqlCan't con