2021年大数据Hadoop(二十七):YARN运行流程
全網最詳細的Hadoop文章系列,強烈建議收藏加關注!
后面更新文章都會列出歷史文章目錄,幫助大家回顧知識重點。
目錄
本系列歷史文章
前言
Yarn運行流程
本系列歷史文章
2021年大數據Hadoop(三十):Hadoop3.x的介紹
2021年大數據Hadoop(二十九):關于YARN常用參數設置
2021年大數據Hadoop(二十八):YARN的調度器Scheduler
2021年大數據Hadoop(二十七):YARN運行流程
2021年大數據Hadoop(二十六):YARN三大組件介紹
2021年大數據Hadoop(二十五):YARN通俗介紹和基本架構
2021年大數據Hadoop(二十四):MapReduce高階訓練
2021年大數據Hadoop(二十三):MapReduce的運行機制詳解
2021年大數據Hadoop(二十二):MapReduce的自定義分組
2021年大數據Hadoop(二十一):MapReuce的Combineer
2021年大數據Hadoop(二十):MapReduce的排序和序列化
2021年大數據Hadoop(十九):MapReduce分區
2021年大數據Hadoop(十八):MapReduce程序運行模式和深入解析
2021年大數據Hadoop(十七):MapReduce編程規范及示例編寫
2021年大數據Hadoop(十六):MapReduce計算模型介紹
2021年大數據Hadoop(十五):Hadoop的聯邦機制 Federation
2021年大數據Hadoop(十四):HDFS的高可用機制
2021年大數據Hadoop(十三):HDFS意想不到的其他功能
2021年大數據Hadoop(十二):HDFS的API操作
2021年大數據Hadoop(十一):HDFS的元數據輔助管理
2021年大數據Hadoop(十):HDFS的數據讀寫流程
2021年大數據Hadoop(九):HDFS的高級使用命令
2021年大數據Hadoop(八):HDFS的Shell命令行使用
2021年大數據Hadoop(七):HDFS分布式文件系統簡介
2021年大數據Hadoop(六):全網最詳細的Hadoop集群搭建
2021年大數據Hadoop(五):Hadoop架構
2021年大數據Hadoop(四):Hadoop發行版公司
2021年大數據Hadoop(三):Hadoop國內外應用
2021年大數據Hadoop(二):Hadoop發展簡史和特性優點
2021年大數據Hadoop(一):Hadoop介紹
前言
2021大數據領域優質創作博客,帶你從入門到精通,該博客每天更新,逐漸完善大數據各個知識體系的文章,幫助大家更高效學習。
有對大數據感興趣的可以關注微信公眾號:三幫大數據
Yarn運行流程
- client向RM提交應用程序,其中包括啟動該應用的ApplicationMaster的必須信息,例如ApplicationMaster程序、啟動ApplicationMaster的命令、用戶程序等。
- ResourceManager啟動一個container用于運行ApplicationMaster。
- 啟動中的ApplicationMaster向ResourceManager注冊自己,啟動成功后與RM保持心跳。
- ApplicationMaster向ResourceManager發送請求,申請相應數目的container。
- ResourceManager返回ApplicationMaster的申請的containers信息。申請成功的container,由ApplicationMaster進行初始化。container的啟動信息初始化后,AM與對應的NodeManager通信,要求NM啟動container。AM與NM保持心跳,從而對NM上運行的任務進行監控和管理。
- container運行期間,ApplicationMaster對container進行監控。container通過RPC協議向對應的AM匯報自己的進度和狀態等信息。
- 應用運行期間,client直接與AM通信獲取應用的狀態、進度更新等信息。
- 應用運行結束后,ApplicationMaster向ResourceManager注銷自己,并允許屬于它的container被收回。
- 📢博客主頁:https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正!
- 📢本文由 Lansonli 原創,首發于 CSDN博客🙉
- 📢大數據系列文章會每天更新,停下休息的時候不要忘了別人還在奔跑,希望大家抓緊時間學習,全力奔赴更美好的生活?
總結
以上是生活随笔為你收集整理的2021年大数据Hadoop(二十七):YARN运行流程的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年大数据Hadoop(二十六):
- 下一篇: 2021年大数据Hadoop(二十九):