日常工作中會涉及到各種資源分配等問題，跨部門，跨業務等等，這里介紹基于CDH版本的Yarn 公平調度（實際使用DRF調度）

不同時間配置不同資源參考（計劃模式）：https://datamining.blog.csdn.net/article/details/94613928?

DRF與FAIR區別：

DRF：根據 CPU 和內存公平調度資源。 (建議，CDH自帶)

FAIR：僅根據內存公平調度資源。

?禁止自動創建隊列

• yarn.scheduler.fair.user-as-default-queue false

• yarn.scheduler.fair.allow-undeclared-pools?false

該項勾選之后會使用username隊列，如果沒有會自動創建，并且占比(權)為1

?CDH配置放置規則

1.登錄管理界面，進入動態資源池配置

2.刪除全部默認配置規則

3.添加新的三條規則，注意按照順序

• 規則一：

• 規則二：

• 規則三：

4.創建完成的規則如下圖所示，并刷新最新配置

?配置資源池

?1.資源池創建默認是在root父池下，即上圖的池名稱為 root.test 程序制定時可使用如下命令

set mapreduce.job.queuename=root.test;

2.最大運行數量，e.g. 配置為2

啟動三個程序，其中兩個正常跑平分資源，另外一個app處于ACCEPTED狀態，等待其他任務跑完后，才會跑

此時再啟動一個，在其他隊列的任務，發現可以正常運行，說明我們配置已生效

?3.設置最大使用資源

設置資源為該池使用最大資源，如權設置的大，最大資源設置小，則權失效。

總結

以上是生活随笔為你收集整理的CDH Yarn资源动态分配 - 指定资源限制 公平调度具体设置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。