Hadoop之資源調(diào)度器

---

目錄

資源調(diào)度器概述

先進(jìn)先出調(diào)度器（FIFO）

容量調(diào)度器（Capacity Scheduler）

公平調(diào)度器（Fair Scheduler）

任務(wù)的推測執(zhí)行

---

1. 資源調(diào)度器概述

目前，Hadoop作業(yè)調(diào)度器主要有三種：FIFO、Capacity Scheduler和Fair Scheduler。Hadoop2.7.2默認(rèn)的資源調(diào)度器是Capacity Scheduler。

具體設(shè)置詳見：yarn-default.xml文件

<property><description>The class to use as the resource scheduler.</description><name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> </property>

---

2. 先進(jìn)先出調(diào)度器（FIFO）

先進(jìn)先出調(diào)度器（FIFO），如下圖所示

---

3. 容量調(diào)度器（Capacity Scheduler）

容量調(diào)度器（Capacity Scheduler），如下圖所示

---

4. 公平調(diào)度器（Fair Scheduler）

公平調(diào)度器（Fair Scheduler），如下圖所示

---

5. 任務(wù)的推測執(zhí)行

作業(yè)完成時間取決于最慢的任務(wù)完成時間
一個作業(yè)由若干個Map任務(wù)和Reduce任務(wù)構(gòu)成。因硬件老化、軟件Bug等，某些任務(wù)可能運行非常慢。
典型案例：系統(tǒng)中有99%的Map任務(wù)都完成了，只有少數(shù)幾個Map老是進(jìn)度很慢，完不成，怎么辦？

推測執(zhí)行機(jī)制
發(fā)現(xiàn)拖后腿的任務(wù)，比如某個任務(wù)運行速度遠(yuǎn)慢于任務(wù)平均速度。為拖后腿任務(wù)啟動一個備份任務(wù)，同時運行。誰先運行完，則采用誰的結(jié)果。

執(zhí)行推測任務(wù)的前提條件

每個task只能有一個備份任務(wù)；

當(dāng)前job已完成的task必須不小于0.05（5%）

開啟推測執(zhí)行參數(shù)設(shè)置。Hadoop2.7.2 mapred-site.xml文件中默認(rèn)是打開的。

<property><name>mapreduce.map.speculative</name><value>true</value><description>If true, then multiple instances of some map tasks may be executed in parallel.</description> </property><property><name>mapreduce.reduce.speculative</name><value>true</value><description>If true, then multiple instances of some reduce tasks may be executed in parallel.</description> </property>

不能啟用推測執(zhí)行機(jī)制情況

任務(wù)間存在嚴(yán)重的負(fù)載傾斜；

特殊任務(wù)，比如任務(wù)向數(shù)據(jù)庫中寫數(shù)據(jù)。

算法原理，如下圖所示

總結(jié)

以上是生活随笔為你收集整理的Hadoop之资源调度器与任务推测执行的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。