大剑无锋之Spark中的Driver是什么?【面试推荐】
生活随笔
收集整理的這篇文章主要介紹了
大剑无锋之Spark中的Driver是什么?【面试推荐】
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Spark中的Driver即運行Application的Main()函數并且創建SparkContext,其中創建SparkContext的目的是為了準備Spark應用程序的運行環境。在Spark中由SparkContext負責和ClusterManager通信,進行資源的申請、任務的分配和監控等;當Executor部分運行完畢后,Driver負責將SparkContext關閉。通常SparkContext代表Driver,如下圖所示:
【補充】Cluster Manager:資源管理器,指的是在集群上獲取資源的外部服務
?
總結
以上是生活随笔為你收集整理的大剑无锋之Spark中的Driver是什么?【面试推荐】的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 大剑无锋之Kafka的Patition的
- 下一篇: 大剑无锋之delete、drop、tru