配置日志的聚集

日志聚集概念：應用運行完成后，將程序運行日志信息上傳到HDFS系統上。

日志聚集功能好處：可以方便地查看到程序運行詳情，方便開發調試。
tips： 開啟日志聚集功能，需要重新啟動NodeManager、ResourceManager和HistoryServer。

步驟：

1). 配置yarn-site.xml：

[xiaobai@hadoop102 hadoop]$ vim yarn-site.xml

在該文件里增加如下配置：

<!--開啟日志聚集功能--><property> <name>yarn.log-aggregation-enable</name><value>true</value></property><!--設置日志聚集服務器地址--><property><name>yarn.log.server.url</name><value>http://hadoop102:19888/jobhistory/logs</value></property><!--設置日志保留時間為7天--><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>

2). 分發配置：

[xiaobai@hadoop102 hadoop]$ xsync \$HADOOP_HOME/etc/hadoop/yarn-site.xml

3). 關閉NodeManager、ResourceManager和HistoryServer：

[xiaobai@hadoop103 hadoop-3.2.2]$ sbin/stop-yarn.sh [xiaobai@hadoop103 hadoop-3.2.2]$ mapred --daemon stop historyserver

tips：mapred --daemon單節點停止進程；

4). 啟動NodeManager、ResourceManager和HistoryServer：

[xiaobai@hadoop103 hadoop-3.2.2]$ sbin/start-yarn.sh [xiaobai@hadoop103 hadoop-3.2.2]$ mapred --daemon start historyserver

總結

以上是生活随笔為你收集整理的hadoop--日志聚集功能的配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。