搭建hdfs分布式集群

1、設置靜態IP

設置靜態IP
https://blog.csdn.net/weixin_42119153/article/details/100124300#commentBox

2、安裝jdk

安裝jdk
https://blog.csdn.net/weixin_42119153/article/details/100125845

3、設置ssh無密碼登錄

設置ssh無密碼登錄
https://blog.csdn.net/weixin_42119153/article/details/100126037

4、安裝hadoop

1、解壓hadoop-2.7.7.tar.gz

1）將下載的hadoop-2.7.7.tar.gz上傳至/home/hadoop 目錄
2）解壓

[hadoop@hadoop01 ~]$ tar -zxvf hadoop-2.7.7.tar.gz

3）重命名文件件 hadoop-2.7.7為 hadoop2.7

[hadoop@hadoop01 ~]$ mv hadoop-2.7.7 hadoop2.7

4）使用 root 用戶配置 hadoop 環境變量（三臺機器都要配置）

[root@hadoop01 hadoop2.7]# vi /etc/profile

5）配置hosts映射（三臺機器都要配置）

[root@hadoop01 hadoop2.7]# vi /etc/hosts

2、配置 hadoop 文件中相應的文件

這里使用的是hadoop用戶
需要配置的文件如下，hadoop-env.sh，core-site.xml，hdfs-site.xml，slaves，所有的文件配置均位于hadoop2.7.1/etc/hadoop下面，具體需要的配置如下：
1） 配置/home/hadoop/hadoop2.7/etc/hadoop目錄下的core-site.xml

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/core-site.xml <configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property> </configuration>

在/home/hadoop 目錄下新建文件夾tmp
注意：hadoop.tmp.dir是hadoop 文件系統依賴的配置文件。 默認是在 /tmp 目錄下的，而這個目錄下的文件，在Linux系統中，重啟之后，很多都會被清空。所以我們要手動指定這寫文件的保存目錄。
這個目錄路徑要么不存在，hadoop啟動的時候會自動幫我們創建；要么是一個空目錄，不然在啟動的時候會報錯。
2）配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下的hdfs-site.xml

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/hdfs-site.xml <property><name>dfs.namenode.name.dir</name><value>/home/hadoop/data/name</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address</name><value>hadoop02:50090</value></property>

注意：dfs.replication 是配置文件保存的副本數；dfs.namenode.secondary.http-address 是指定 secondary 的節點。
3）配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下hadoop-env.sh 的JAVA_HOME

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/hadoop-env.sh

設置 JAVA_HOME 為自己在系統中安裝的 JDK 目錄

4）配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下的slaves，刪除默認的localhost，增加3個從節點

[hadoop@hadoop01 ~]$ vi hadoop2.7/etc/hadoop/slaves

5）指定 SecondaryNameNode 節點
在 /home/hadoop/hadoop2.7/etc/hadoop 目錄下手動創建一個 masters 文件

[hadoop@hadoop01 hadoop]$ vi masters

3、將配置好的 hadoop 文件上傳給其它三個節點

[hadoop@hadoop01 ~]$ scp -r /home/hadoop hadoop@192.168.146.211:/home/ [hadoop@hadoop01 ~]$ scp -r /home/hadoop hadoop@192.168.146.212:/home/

4、啟動 hadoop

在master服務器啟動hadoop，從節點會自動啟動，進入/home/hadoop/hadoop2.7目錄
1）輸入初始化命令：

[hadoop@hadoop01 hadoop2.7]$ bin/hdfs namenode -format

2） 啟動hdfs 命令：

[hadoop@hadoop01 hadoop2.7]$ sbin/start-dfs.sh

3）停止命令，sbin/stop-dfs.sh
4）輸入命令，jps，可以看到相關信息

5、訪問界面

1）關閉防火墻
臨時關閉

[root@hadoop01 hadoop2.7]# service iptables stop

永久關閉

[root@hadoop01 hadoop2.7]# chkconfig iptables off

2）訪問NameNode 節點信息：http://192.168.146.210:50070

總結

以上是生活随笔為你收集整理的linux搭建hdfs的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。