hadoop3.1.2 配置 3台 完全分布式
轉載鏈接：https://blog.csdn.net/qq_41045774/article/details/92851175
?
文章目錄
-
- 3設備用root賬戶
- 永久主機名設置
- 靜態ip地址
- 配置免密登錄
- Hadoop和Java的安裝 加入環境變量
- 以下是master 6個文件配置
- 還有4個配置
- 主機格式化namenode
- slave1，slave2配置
- 在master主機 開啟集群
- **問題
- 默認端口
?
3設備用root賬戶
三臺虛擬機：master，slave1，slave2
192.168.199.130 master
192.168.199.131 slave1
192.168.199.132 slave2
永久主機名設置
vi /etc/hostname 然后重啟
https://blog.csdn.net/u014204541/article/details/80761165
靜態ip地址
centos?https://mp.csdn.net/mdeditor/92839899
ubuntu?https://mp.csdn.net/mdeditor/93243251
配置免密登錄
去掉 127.0.開頭的和主機名的映射，不然Hadoop 拒絕遠程 9000 端口訪問
https://blog.csdn.net/mzjwx/article/details/78547573
vim /etc/hosts
192.168.199.130 master
192.168.199.131 slave1
192.168.199.132 slave2
每臺設備都這樣操作一下
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@master0
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
每臺設備都這樣操作一下
Hadoop和Java的安裝 加入環境變量
centos
[root@localhost hadoop-3.1.2]# vim /etc/profile
- ?
環境變量生效source /etc/profile
ubuntu vim ~/.barshrc source ~/.bashrc
以下是master 6個文件配置
cd /usr/local/software/hadoop-3.1.2
1 [root@cent hadoop-3.1.2]# vim etc/hadoop/hadoop-env.sh
- ?
2 vim etc/hadoop/core-site.xml 。。。和namenode有關
master是主機名，code1這里不改沒關系，表示只配置一個hdfs，即namenode，也可以配置2個hdfs,即code1會開啟一個namenode
這個hfds地址和hbase-site.xml中的一致
- ?
3 vim etc/hadoop/hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/software/hadoop-3.1.2/dfs/data</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/software/hadoop-3.1.2/dfs/name</value></property> </configuration>- ?
``
4 vim etc/hadoop/mapred-site.xml
- ?
5 vim etc/hadoop/yarn-site.xml 與MapReduce有關
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><!-- 針對mapreduce報錯的配置 --><property><name>mapreduce.application.classpath</name><value>/usr/local/software/hadoop-3.1.2/share/hadoop/mapreduce/*,/usr/local/software/hadoop-3.1.2/share/hadoop/mapreduce/lib/*</value></property>- ?
6 [root@cent hadoop-3.1.2]# vim etc/hadoop/workers
slave1 ip 地址 slave2 ip地址- ?
還有4個配置
[root@cent hadoop-3.1.2]# vim sbin/start-dfs.sh
[root@cent hadoop-3.1.2]# vim sbin/stop-dfs.sh
- ?
[root@cent hadoop-3.1.2]# vim sbin/start-yarn.sh
[root@cent hadoop-3.1.2]# vim sbin/stop-yarn.sh
- ?
主機格式化namenode
hadoop namenode -format- ?
slave1，slave2配置
除了 [root@cent hadoop-3.1.2]# vim etc/hadoop/workers , vim etc/hadoop/mapred-site.xml, vim etc/hadoop/yarn-site.xml 不用配置。其他都要。也要主機格式化namenode
1、slave1，slave2可查[root@cent hadoop-3.1.2]# cd logs文件 看報錯
或者namenode 格式化 看報錯
2、slave: mv: 無法獲取"/usr/local/software/hadoop-3.1.2/logs/hadoop-root-nodemanager-slave.out.4" 的文件狀態(stat): 沒有那個文件或目錄，我把vim etc/hadoop/mapred-site.xml 配置刪了，就不報了。但一會又報了，抽風了
在master主機 開啟集群
start-all.sh
jps檢查
主機如下
4210 NodeManager
4035 ResourceManager
3508 DataNode
25716 Jps
3764 SecondaryNameNode
3337 NameNode
slave如下
9936 Jps
9077 DataNode
9257 NodeManager
感謝?https://blog.csdn.net/qq_25863199/article/details/88791498
。
。
**問題
問題一 格式化后，datanode起不來** .hadoop namenode多次格式化可能導致的問題
報錯java.io.IOException: Incompatible clusterIDs in /usr/local/softwre/hadoop-3.1.2/tmp/dfs/data: namenode clusterID = CID-a36b2872-1780-4854-97c8-18c23a1bb054; datanode clusterID = CID-2c83826e-89bb-4397-b59d-a589381acf54
解決?https://blog.csdn.net/cl723401/article/details/82892703
有時hadoop-3.1.2只有tmpw文件，conf bin都沒了，等一會兒就有了
總結，datanode啟動時會檢查并匹配namenode的版本文件里的clusterID，如果兩者不匹配，就會出現"Incompatible clusterIDs"的異常。
…格式化前，刪除hdfs的tmp文件，和儲存namenode和datanode的目錄，不然系統格式化后，不會自動刪除格式化前的這些文件，還會生成新的這些文件，前后clusterID會沖突
https://www.cnblogs.com/wangshen31/p/9900987.html
https://www.cnblogs.com/neo98/articles/6305999.html
首先確認下master和slave的hdfs-site.xml配置中的dfs.namenode.name.dir目錄下的current/VERSION文件是否一致，可以直接拷貝成一樣的，再重啟集群
- ?
默認端口
hadoop 9870
hbase? ?8020
總結
以上是生活随笔為你收集整理的hadoop3.1.2 配置 3台 完全分布式的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ORACLE日期时间函数大全(一)
- 下一篇： MPU6050开发 -- 进阶之I2C/