YARN环境部署
etc/hadoop/mapred-site.xml
添加下面的配置:
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>etc/hadoop/yarn-site.xml
添加下面的配置:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/home/iie4bu/app/tmp/hadoop-tmp/nm-local-dir</value></property><!-- 用yarn logs -applicationId application_1692763927489_0001時需要進行配置, 否則 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property></configuration>如果不設置yarn.log-aggregation-enable會出現/tmp/logs/iie/logs/application_xxxxxxx does not exist
啟動ResourceManager進程和NodeManager進程
sbin/start-yarn.sh
訪問Resource Manager
瀏覽器中輸入地址http://ip:8088
表示存活的Node個數是1個。
運行一個作業
在hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce路徑下有一個hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar示例文件,里面有很多測試方法。
運行命令:
總結
- 上一篇: 资源调度框架YARN
- 下一篇: MapReduce 在Shuffle阶段