1. 前言

本文搭建了一個由三節點（master、slave1、slave2）構成的Hadoop完全分布式集群，并通過Hadoop分布式計算的一個示例測試集群的正確性。本文將搭建一個支持Yarn的完全分布式環境

2. Hadoop MapReduce架構

Hadoop MapReduce使用的是主從架構體系

主JobTracker：ResourceManager

復雜調度分配每一個任務Task運行與TaskTracker之上，如果發現有失敗的task就重新分配其任務到其他節點之上。每一個hadoop集群只有一個jobTracker，一般它運行在Master節點上

從TaskTracker：NodeManager

TaskTracker主動和JobTracker通信，接受作業，并負責直接執行每一個任務，為了減少網絡帶寬TaskTracker最好運行在HDFS的DataNode之上。

3. Hadoop YARN環境搭建

3.1 Hadoop的masetr節點配置

需要配置hadoop的配置文件mapred-site.xml　　yarn-site.xml

$cd ~/hadoop/etc/hadoop

$vim mapred-site.xml其他文件相同，以下為配置文件內容：

mapred-site.xml

<configuration> <!-- 通知框架MR使用YARN --> <property><name>mapreduce.framework.name</name><value>yarn</value> </property><!-- jobhistory配置 --> <property><name>mapreduce.jobhistory.address</name><value>node91:10020</value> </property><property><name>mapreduce.jobhistory.webapp.address</name><value>node91:19888</value> </property><property><name>mapreduce.jobhistory.done-dir</name><value>/history/done</value> </property><property><name>mapreudce.jobhistory.intermediate.done-dir</name><value>/history/done/done_intermediate</value> </property> </configuration>

yarn-site.xml

其中包括配置Hadoop Yarn JobHistory

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>node91</value> </property><!-- reducer取數據的方式是mapreduce_shuffle --> <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property><property><name>yarn.resourcemanager.webapp.address</name><value>node91:18089</value> <description>RM對外暴露的web http地址，用戶可通過該地址在瀏覽器中查看集群信息</description> </property><property><name>yarn.scheduler.minimum-allocation-mb</name><value>1024</value> </property></configuration>

4. 啟動和關閉Hadoop Yarn

4.1 啟動

啟動Hadoop Yarn

start-yarn.sh

啟動Hadoop Yarn JobHistory

mr-jobhistory-daemon.sh start historyserver

啟動 Hadoop ResourceManager進程

yarn-daemon.sh start resourcemanager

啟動 Hadoop nodemanager進程

yarn-daemon.sh start nodemanager

4.2 關閉

關閉Hadoop Yarn

stop-yarn.sh

關閉Hadoop Yarn JobHistory

mr-jobhistory-daemon.sh stop historyserver

關閉 Hadoop ResourceManager進程

yarn-daemon.sh stop resourcemanager

關閉 Hadoop nodemanager進程

yarn-daemon.sh stop nodemanager

總結

以上是生活随笔為你收集整理的Hadoop详解（七）：YARYN完全分布式环境搭建的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。