hadoop的关键进程
生活随笔
收集整理的這篇文章主要介紹了
hadoop的关键进程
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
hadoop集群中主要進程有
master:?? NameNode, ResourceManager,
slaves:?? DataNode, NodeManager,? RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild與隨著某個job的創建而創建,隨著job的完成而終止。它們的作用分別是:
RunJar:完成job的初始化,包括獲取jobID,將jar包上傳至hdfs等。
MRAppMaster:每個job一個進程,主要跟蹤job的運行情況,向RM申請資源等。
YarnChild:運行具體的map/reduce task。
job啟動過程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出過程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
網上找到的一些示意圖:
圖1
圖2
master:?? NameNode, ResourceManager,
slaves:?? DataNode, NodeManager,? RunJar, MRAppMaster,YarnChild
其中 RunJar, MRAppMaster,YarnChild與隨著某個job的創建而創建,隨著job的完成而終止。它們的作用分別是:
RunJar:完成job的初始化,包括獲取jobID,將jar包上傳至hdfs等。
MRAppMaster:每個job一個進程,主要跟蹤job的運行情況,向RM申請資源等。
YarnChild:運行具體的map/reduce task。
job啟動過程:
ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild
job退出過程:
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。
網上找到的一些示意圖:
圖1
圖2
總結
以上是生活随笔為你收集整理的hadoop的关键进程的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: spark原理介绍
- 下一篇: sqoop 1.4.4-cdh5.1.2