Hadoop歷史服務器

?Hadoop自帶了一個歷史服務器，可以通過歷史服務器查看已經運行完的Mapreduce作業記錄，比如用了多少個Map、用了多少個Reduce、作業提交時間、作業啟動時間、作業完成時間等信息。默認情況下，Hadoop歷史服務器是沒有啟動的，我們可以通過下面的命令來啟動Hadoop歷史服務器

歷史服務器開啟? mr-jobhistory-daemon.sh start historyserver

配置歷史服務器

在配置文件前需要注意的一點就是先把進程打開 start-all.sh，不然是訪問不到網頁的

首先根目錄創建一個目錄文件夾

運行 一 個wordcount 程序 圖中標注有詳細步驟

在web端網頁觀察 yarn 的頁面 ip地址為 主機名:8088
注：如果進入網頁沒有application說明配置文件有問題，仔細查看 集群配置文件內容? 進入有詳細配置文件代碼?全分布式集群搭建

歷史服務器 是mapred-site.xml文件
全分布式集群搭建?有配置文件代碼及詳細步驟

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobhistory.address</name><!-- 啟動歷史服務器--><value>hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><!-- 歷史服務器web訪問地址--><value>hadoop:19888</value></property></configuration>

記得集群機器都得配置，如果配過了就不需要在配置了

日志聚合 在yarn-site.xml 文件
全分布式集群搭建?有配置文件代碼及詳細步驟

<property> <name>yarn.log-aggregation-enable</name><value>true</value><!--開啟日志聚合 --> </property><property> <name>yarn.nodemanager.remote-app-log-dir</name><value>/hadoop/logs</value><!--日志聚合到一個文件夾中 --> </property>

注：每臺機器都得配置

配置完畢以后 重啟yarn 進程 如果進程已開 則先執行 stop-yarn.sh 在執行start-yarn.sh

啟動歷史服務器

• 開啟jobhistory進程執行：mr-jobhistory-daemon.sh start historyserver
• 關閉jobhistory進程執行：mr-jobhistory-daemon.sh stop historyserver

點開進入yarn網頁端 ip地址為 主機名:8088
若頁面沒有application 再次重新執行一次 wordcount 程序
注：第2點有詳細步驟

如果在點擊 history 歷史記錄進入的時候，報 Not found 找不到什么之類的問題時，重新啟動歷史服務器的進程就好了。

總結

以上是生活随笔為你收集整理的hadoop—集群配置历史服务器及访问历史服务器日志的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。