? ? ? ?哈嘍，同學(xué)們好，繼上篇文章《Hadoop部署一jdk與MySQL》，我們安裝好了jdk以及MySQL。我們現(xiàn)在開始安裝部署Hadoop，開啟Hadoop之旅。

一、下載Hadoop安裝包

Hadoop官網(wǎng)：http://hadoop.apache.org/我這里用的Hadoop版本下載地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/

二、解壓Hadoop安裝包(只在bigdata01做)

1、通過rz，把Hadoop安裝包hadoop-3.3.0.tar.gz文件上傳到bigdata01機器的/home/bigdata/install_pkg目錄(為了方便，我們把安裝包都放置同一個目錄哈)。

2、執(zhí)行解壓縮命令：

tar -zxvf hadoop-3.3.0.tar.gz

3、把解壓后的Hadoop目錄，移動到安裝目錄/usr/local/soft目錄下:

三、配置中Hadoop相關(guān)配置文件(只在bigdata01做)

1、在/usr/local/soft/hadoop-3.3.0目錄下，配置jdk文件。

vi etc/hadoop/hadoop-env.sh

找到 “ export JAVA_HOME ” 這行，用來配置jdk路徑，修改為：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_161

2、在/usr/local/soft/hadoop-3.3.0目錄下，配置core-site.xml文件。

vi etc/hadoop/core-site.xml

需要在和之間加入的代碼：

<property> <name>fs.defaultFSname> <value>hdfs://bigdata01:9000value> property> <property> <name>hadoop.tmp.dirname> <value>/usr/local/soft/hadoop-3.3.0/hadoopdatavalue>????property>

注意：hadoopdata目錄需提前創(chuàng)建

3、在/usr/local/soft/hadoop-3.3.0目錄下，配置hdfs-site.xml文件。

vi?etc/hadoop/hdfs-site.xml

需要在和之間加入的代碼：

<property> <name>dfs.replicationname> <value>3value> property>

4、在/usr/local/soft/hadoop-3.3.0目錄下，配置yarn-site.xml文件。

vi?etc/hadoop/yarn-site.xml

需要在和之間加入的代碼：

????????<property> <name>yarn.nodemanager.aux-servicesname> <value>mapreduce_shufflevalue> property> <property> <name>yarn.resourcemanager.addressname> <value>bigdata01:18040value> property> <property> <name>yarn.resourcemanager.scheduler.addressname> <value>bigdata01:18030value> property> <property> <name>yarn.resourcemanager.resource-tracker.addressname> <value>bigdata01:18025value> property> <property> <name>yarn.resourcemanager.admin.addressname> <value>bigdata01:18141value> property> <property> <name>yarn.resourcemanager.webapp.addressname> <value>bigdata01:18088value> property>

5、在/usr/local/soft/hadoop-3.3.0目錄下，配置mapred-site.xml文件。

vi?etc/hadoop/mapred-site.xml

需要在和之間加入的代碼：

mapreduce.framework.name yarn????

6、在/usr/local/soft/hadoop-3.3.0目錄下，配置workers文件。workers文件給出了Hadoop集群的worker節(jié)點列表，該文件十分的重要，因為啟動Hadoop的時候，系統(tǒng)總是根據(jù)當(dāng)前workers文件中的worker節(jié)點名稱列表啟動集群，不在列表中的worker節(jié)點便不會被視為計算節(jié)點。

vi?etc/hadoop/workers

添加bigdata02、bigdata03

注意：刪除workers文件中原來localhost那一行！

7、復(fù)制Hadoop到其余兩臺機器

scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata02:/usr/local/soft

scp -r /usr/local/soft/hadoop-3.3.0 bigdata@bigdata03:/usr/local/soft

注意：因為權(quán)限問題，要在三臺機器上修改一下文件的權(quán)限

sudo chmod 777?/usr/local/soft

四、Hadoop集群的啟動

1、編輯.bash_profile文件(三臺機器都做)

(1)vi ~/.bash_profile

(2)以下內(nèi)容追加到文件的尾部：

#HADOOPexport HADOOP_HOME=/usr/local/soft/hadoop-3.3.0export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

(3)執(zhí)行命令，使得配置生效：

source ~/.bash_profile

2、格式化文件系統(tǒng)(只在bigdata01做)

hadoop namenode -format

3、啟動和關(guān)閉Hadoop集群(只在bigdata01做)

(1)進入/usr/local/soft/hadoop-3.3.0/sbin目錄中：

cd?/usr/local/soft/hadoop-3.3.0/sbin

(2)啟動shell腳本：

start-all.sh

4、驗證是否安裝成功。

(1)在bigdata01，輸入jps，出現(xiàn)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? SecondaryNameNode、

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ResourceManager、?

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Jps 、

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? NameNode

這四個進程，則表明主節(jié)點master啟動成功：

(2)在bigdata02、bigdata03，輸入jps，出現(xiàn)

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? NodeManager、

? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?Jps 、

? ? ? ? ? ? ? ? ? ? ? ? ? ? ??DataNode

這三個進程，則表明從節(jié)點(bigdata02、bigdata03)啟動成功：

五、通過網(wǎng)頁訪問集群的狀態(tài)

1、hdfs訪問地址：http://192.168.211.128:9870

2、yarn訪問地址：http://192.168.211.128:18088(18088端口，是因為我們在yarn-site.xml文件中，通過yarn.resourcemanager.webapp.address參數(shù)，修改了網(wǎng)頁的默認地址)

ps：

倘若，頁面無法訪問，則嘗試關(guān)閉虛擬機的防火墻，然后再次嘗試一下：

systemctl status firewalld.service(查看狀態(tài))

systemctl stop firewalld.service(關(guān)閉防火墻)

? ? ? ?同學(xué)們，經(jīng)過上述操作后，我們Hadoop就配置好啦，下一期，我們開始講一講Hadoop的組件以及簡單的開發(fā)，之后再逐漸安裝hive、spark、hue等。

總結(jié)

以上是生活随笔為你收集整理的hadoop 开启防火墙_Hadoop部署一Hadoop安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。