Hadoop集群搭建（一）—— Liunx網絡、主機名配置，多臺虛擬機的相互連通和遠程登陸

Hadoop集群搭建（二）—— Linux系統SSH遠程雙向免密登陸

Hadoop集群搭建（三）—— JDK和Hadoop的安裝和環境配置

首先確保虛擬機都完成了網卡、主機名、hosts文件等配置

確保安裝了jdk和hadoop并且配置了環境變量，最好都是同樣的路徑

確保虛擬機之間都能互相ping通以及兩兩之間能夠ssh免密登陸

我這里創建了三臺虛擬機，配置信息如下

ip地址主機名節點

192.168.3.9	hadoop01	主節點
192.168.3.10	hadoop02	子節點
192.168.3.11	hadoop03	子節點

配置開始

下面的操作都在主節點操作（配置完可以通過scp拷貝給子節點，省時間）

接下來我們就開始最后的hadoop配置，打開hadoop安裝目錄

?然后進入 etc/hadoop目錄下，這里面就是hadoop的配置文件了

?（1）修改 hadoop-env.sh 文件

找到下圖位置，將注釋去掉，路徑改成自己的jdk安裝路徑

?（2）修改 yarn-env.sh 文件

找到如圖位置，去掉注釋，將路徑改成自己的jdk安裝路徑

?（3）修改 core-site.xml 文件

在配置文件中添加如下信息

<!-- hadoop的核心配置文件 --> <configuration><property><!-- 指定namenode（主節點）在hadoop01虛擬機上 --><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><!-- 塊大小 --><name>io.file.buffer.size</name><value>131072</value></property><property><!-- hadoop的臨時目錄 --><name>hadoop.tmp.dir</name><value>file:/usr/hadoop/tmp</value></property> </configuration>

（4）修改 hdfs-site.xml 文件

在配置文件中添加如下信息

<!-- 配置datanode（子節點）進程 --> <configuration><property><name>dfs.namenode.name.dir</name><value>file:/usr/hadoop/dfs/name</value></property><property><name>dfs.namenode.data.dir</name><value>file:/usr/hadoop/dfs/data</value></property><property><!-- 指定HDFS副本的數量（一般幾個子節點就設置為幾個） --><name>dfs.replication</name><value>2</value></property> </configuration>

（5）修改 mapred-site.xml 文件

該文件時默認不存在的，需要指令?cp mapred-site.xml.template mapred-site.xm 復制一份出來

?然后添加如下信息（hadoop01是主節點的主機名）

<!-- MapReduce的核心配置文件，指定MapReduce的運行框架為YARN --> <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop01:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop01:19888</value></property> </configuration>

（6）修改 yarn-site.xml 文件

hadoop01是主節點的主機名

<configuration> <!-- 指定YARN集群的管理者（ResourceManager）的地址 --> <!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.address</name><value>hadoop01:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop01:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop01:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop01:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop01:8088</value></property><property><!-- NodeManager的附屬服務 --><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property> </configuration>

（7）修改 masters 文件

這個文件沒有的，需要創建編寫，指令 vi masters

寫主節點的IP地址或者主機名都可以

（8）修改 slaves 文件

這里寫子節點的配置信息，IP地址或者主機名都可以，最好跟（7）一致

?

?（9）拷貝給子節點

將配置好的配置文件的文件夾發給其他節點

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/ [root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

（10）創建目錄（主節點操作）

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p [root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p [root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

（11）賦予權限

//添加用戶組 [root@hadoop01 hadoop]# groupadd hadoop [root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false//賦予權限 [root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

（12）將/usr/hadoop拷貝給子節點

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/ [root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

（13）配置變量（全部子節點，主節點不用）

修改/etc/profile配置文件，在文件尾部添加如下信息，指令 vi? /etc/profile

#set hadoop environment export HADOOP_HOME=/usr/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

添加完之后，輸入指令使配置文件生效（全部都要）

[root@hadoop01 hadoop]# source /etc/profile

（14）權限

全部子節點按 (11) 操作賦予權限

（15）格式化（主節點上）

[root@hadoop01 hadoop]# hadoop namenode -format

出現 successfully 就說明成功了，否則的會提示報錯

?（16）啟動集群（主節點上）

start-all.sh是一鍵啟動的指令（必須要求互相之間能夠免密登陸）

[root@hadoop01 hadoop]# start-all.sh

（17）查看節點狀態

?可以輸入 jps 查看虛擬機的狀態（只能看自己的）

輸入 hdfs dfsadmin -report 可以查看所有節點的信息

同時我們還可以在windows瀏覽器上查看界面

首先在主節點上關閉防火墻

[root@hadoop01 hadoop]# systemctl stop firewalld.service

然后修改windows的hosts的文件（C:\Windows\System32\drivers\etc），在頂部加入如下信息

192.168.3.9 Hadoop01 192.168.3.10 hadoop02 192.168.3.11 hadoop03

最后打開瀏覽器輸入地址 hadoop01:50070 （HDFS文件系統）

?輸入地址 hadoop01:8088 （YARN服務）

?跟著上面的步驟肯定沒有問題，如有問題報錯，評論區說明即可，我會立馬回復解決

總結

以上是生活随笔為你收集整理的Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。