寫目錄

• Yarn常用命令
• • 1. yarn application查看任務(wù)
  • 2. yarn logs查看日志
  • 3. yarn applicationattermpt查看嘗試運(yùn)行的任務(wù)
  • 4. yarn container查看容器
  • 5. yarn ndoe查看節(jié)點(diǎn)狀態(tài)
  • 6. yarn rmadmin 更新配置
  • 7. yarn queue 查看隊(duì)列
• yarn生產(chǎn)環(huán)境核心配置參數(shù)

Yarn常用命令

1. yarn application查看任務(wù)

執(zhí)行wordcount案例：

[xiaobai@hadoop102 hadoop-3.2.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output1

列出所有application：

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list

與通過hadoop103:8088頁面查看yarn狀態(tài)一致：

根據(jù)application狀態(tài)過濾：yarn application-list-appStates(所有狀態(tài)：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -list -appStates FINISHED

kill掉application(例如在任務(wù)卡死情況下)：

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn application -kill application_1630326119767_0004

tips: 該進(jìn)程已經(jīng)完成。

2. yarn logs查看日志

查詢application日志：yarn logs -applicationId <ApplicationId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003

查詢Container日志：yarn logs -applicationId <ApplicationId> -container <ContainerId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn logs -applicationId application_1630326119767_0003 -containerId container_1630326119767_0003_01_000001

3. yarn applicationattermpt查看嘗試運(yùn)行的任務(wù)

列出所有application嘗試的列表：yarn applicationattempt -list <ApplicationId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -list application_1630326119767_0003

打印ApplicationAttempt狀態(tài)：yarn applicationattempt -status <ApplicationAttemptId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn applicationattempt -status appattempt_1630326119767_0003_000001

4. yarn container查看容器

列出所有container：yarn container -list <ApplicationAttemptId

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -list appattempt_1630326119767_0003_000001

打印container狀態(tài)：yarn container -status <ContainerId>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn container -status container_1630326119767_0003_01_000001

tips:
只有在任務(wù)運(yùn)行過程中才可以查看到container狀態(tài)，因?yàn)槿萜鬟\(yùn)行完成后就會(huì)立即釋放掉。

5. yarn ndoe查看節(jié)點(diǎn)狀態(tài)

列出所有節(jié)點(diǎn)：yarn node -list -all

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all

6. yarn rmadmin 更新配置

加載隊(duì)列配置：yarn rmadmin -refreshQueues

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn node -list -all

tips: 對(duì)隊(duì)列進(jìn)行相關(guān)配置，無需重啟集群即可進(jìn)行刷新隊(duì)列，若是更改yarn-site.xml需重啟集群！

7. yarn queue 查看隊(duì)列

打印隊(duì)列信息：yarn queue -status <QueueName>

[xiaobai@hadoop102 hadoop-3.2.2]$ yarn queue -status default

也可通過hadoop103:8088頁面查看：

yarn生產(chǎn)環(huán)境核心配置參數(shù)

tips: 可在配置參數(shù)前拍攝Linux快照，后續(xù)可通過恢復(fù)快照回到配置前狀態(tài)。
推薦查看《Hadoop權(quán)威指南》！

總結(jié)

以上是生活随笔為你收集整理的Hadoop--Yarn常用命令 与 生产环境核心配置参数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。