作業(yè)的提交和監(jiān)控

Job為作業(yè)提交者提供了作業(yè)的視圖，允許用戶管理作業(yè)，提交作業(yè)，控制作業(yè)的執(zhí)行和查詢作業(yè)狀態(tài)，比如跟蹤map和reduce任務(wù)的執(zhí)行進(jìn)度。該類提供的set方法只有在作業(yè)已經(jīng)被提交后才生效，否則將會拋出IllegalStateException異常。作業(yè)的提交過程包括：

1.       檢查作業(yè)的輸入輸出規(guī)范。

2.       計算作業(yè)InputSplit的值。

3.       如果必要，設(shè)置作業(yè)的DistributedCache 的必需計費(fèi)信息。

4.       拷貝作業(yè)的jar文件和配置管理文件到MapReduce在文件系統(tǒng)的目錄中。

5.       提交作業(yè)到JobTracker并可選地監(jiān)控其狀態(tài)。

作業(yè)的歷史文件被記錄到由hadoop.job.history.user.location 指定的目錄中，默認(rèn)值為作業(yè)的輸出目錄，文件被存儲到指定目錄下的_logs/history/中。因此，默認(rèn)情況，歷史文件將被存放在mapred.output.dir/_logs/history中。用戶可以通過將hadoop.job.history.user.location的值設(shè)置為none阻止記錄日志。

用戶可以使用下面的命令瀏覽指定目錄下的歷史日志摘要：$ bin/hadoop job -history output-dir 。該命令將會打印作業(yè)的詳細(xì)信息，失敗和被殺死的作業(yè)的詳細(xì)信息。更多關(guān)于作業(yè)的詳細(xì)信息，比如成功的任務(wù)和每個任務(wù)的嘗試次數(shù)可以以使用下面的命令瀏覽：$ bin/hadoop job -history all output-dir 。用戶可以使用

總結(jié)

以上是生活随笔為你收集整理的Hadoop学习之MapReduce(五)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。