hadoop集群搭建

這里的集群只是一個單點登錄的集群，沒有做到正真的HA高可用，只是一個namenode節(jié)點多個datanode節(jié)點

基本思路:

先在一個節(jié)點上配置好hadoop集群

將配置好的hadoop復(fù)制給其他的節(jié)點機

配置ssh免密碼登錄（這里是為了第四步）

namenode啟動整個集群（通過ssh啟動其他datanode節(jié)點）

我這里準(zhǔn)備用三個節(jié)點機作演示，使用hadoop-2.9.0版本

• 10.100.101.127（namenode節(jié)點，resourceManager節(jié)點）
• 10.100.102.127（datanode節(jié)點，nodeManager節(jié)點）
• 10.100.103.127（datanode節(jié)點，nodeManager節(jié)點）

搭建前環(huán)境準(zhǔn)備

hadoop是java語言寫的，運行hadoop依賴jvm，需要先安裝jdk,配置環(huán)境變量JAVA_HOME,三個節(jié)點上環(huán)境和安裝目錄需一致

[root@localhost hadoop]# echo $JAVA_HOME /data/software/jdk1.8.0_121

開始搭建

第一步

http://hadoop.apache.org/rele...，將安裝包上傳到10.100.101.127機器上，解壓

# 使用secureCRT客戶端工具上傳 rz -bye tar -zxvf hadoop-2.9.0.tar.gz

第二步

修改配置文件（6個），配置文件在$HADOOP_HOME/etc/hadoop/文件夾下

hadoop-env.sh

export JAVA_HOME=/data/software/jdk1.8.0_121

core-site.xml

``` <configuration><property><name>fs.defaultFS</name><value>hdfs://172.18.113.120:9000</value></property> </configuration> ```

hdfs-site.xml

``` <configuration><property><name>dfs.replication</name><value>3</value></property><property><!-- 默認(rèn)為true,通過主機名配置，如果是通過ip配置，這里需要配置false --><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property> </configuration> ```

yarn-site.xml

``` <configuration><property><name>yarn.resourcemanager.hostname</name><value>10.100.101.127</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration> ```

mapred-site.xml

``` # 這個配置文件默認(rèn)沒有，但是有個模板可以參考 [root@localhost hadoop]# cp mapred-site.xml.template mapred-site.xml ``` ``` <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration> ```

slaves

這里配置的是datanode節(jié)點，一個節(jié)點占一行，hadoop將這個文件改成了`workers```` 10.100.101.127 10.100.102.127 10.100.103.127 ```

第三步

配置ssh免登錄

通過namenode自動啟動datanote，所以要配置namenode通過ssh連接datanode不需要密碼，如果namenode節(jié)點同時擔(dān)任一個datanode節(jié)點，那么也要配置namenode在ssh自己的時候也要免密碼登錄

# 一路回車 ssh-keygen ssh-copy-id 10.100.102.127 ssh-copy-id 10.100.103.127 ssh-copy-id 10.100.101.127

第四步

復(fù)制文件給其他節(jié)點，啟動集群

# 把配置好的hadoop給其他兩個節(jié)點各復(fù)制一份，注意jdk環(huán)境要一致 scp -r hadoop-2.9.0 10.100.102.127:///home/ scp -r hadoop-2.9.0 10.100.103.127:///home/ # 首次啟動需要先在 Master 節(jié)點執(zhí)行 NameNode 的格式化，之后的啟動不需要再去進(jìn)行： bin/hdfs namenode -format # 啟動dfs Default HTTP port is 50070 sbin/start-dfs.sh # 啟動yarn Default HTTP port is 8088 sbin/start-yarn.sh # 啟動jobhistory Default HTTP port is 19888. sbin/mr-jobhistory-daemon.sh start historyserve # 通過命令 hdfs dfsadmin -report 查看 DataNode 是否正常啟動 bin/hdfs dfsadmin -report ... Live datanodes (3): ...

查看進(jìn)程

# namenode上的進(jìn)程數(shù)10.100.101.127 # jps 24496 DataNode 25107 NodeManager 24358 NameNode 24998 ResourceManager 25494 JobHistoryServer 24679 SecondaryNameNode 25591 Jps 22442 Bootstrap# datanode上的進(jìn)程數(shù)10.100.102.127/10.100.103.127 # jps 24657 Jps 24338 DataNode 24518 NodeManager 23342 Bootstrap

關(guān)閉集群同樣也是在Master節(jié)點上執(zhí)行

$stop-yarn.sh $stop-dfs.sh $mr-jobhistory-daemon.sh stop historyserver

參考文獻(xiàn)：

• https://www.cnblogs.com/vince...
• http://hadoop.apache.org/docs...
• http://www.cnblogs.com/bethun...

總結(jié)

以上是生活随笔為你收集整理的hadoop集群搭建的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。