1.集群默認是FIFO容量調度器,有的時候不同的業務部門都需要使用hadoop集群,那么這時候就需要來設置容量調度器了,如何平衡各個部門的容量.合理利用資源?

首先配置調度器需要在修改兩個配置文件,分別是mapred-site.xml.里面主要有兩個參數,其中第二個mapred.queue.names就是用來添加業務部門,比如有hive ?hbase等 就添加進去,用逗號隔開

<property>?

<name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value> </property> <property> <name>mapred.queue.names</name> <value>default</value> </property>

其次capacity-scheduler.xml文件中添加對應的配置和權限
屬性mapred.capacity-scheduler.queue.hive.capacity的value決定了隊列的容量比值 ? <property><name>mapred.capacity-scheduler.queue.hive.capacity</name><value>40</value><description>Percentage of the number of slots in the cluster that areto be available for jobs in this queue.</description> </property><property><name>mapred.capacity-scheduler.queue.hive.maximum-capacity</name><value>-1</value><description></description> </property><property><name>mapred.capacity-scheduler.queue.hive.supports-priority</name><value>true</value><description></description></property><property><name>mapred.capacity-scheduler.queue.hive.minimum-user-limit-percent</name><value>100</value><description> </description></property><property><name>mapred.capacity-scheduler.queue.hive.user-limit-factor</name><value>3</value><description></description></property><property><name>mapred.capacity-scheduler.queue.hive.maximum-initialized-active-tasks</name><value>200000</value><description></description></property><property><name>mapred.capacity-scheduler.queue.hive.maximum-initialized-active-tasks-per-user</name><value>100000</value><description></description></property><property><name>mapred.capacity-scheduler.queue.hive.init-accept-jobs-factor</name><value>10</value><description></description></property> 那么如何動態的更新集群的動態和容量呢?

1.主節點修改好mapred-site.xml和capacity-scheduler.xml

2.把配置同步到所有節點上

3.使用hadoop用戶執行命令:hadoop mradmin -refreshQueues

這樣就可以不重啟并且動態修改集群的隊列及其容量配置.刷新mapreduce的web管理控制臺可以看到結果。

注意:如果配置沒有同步到所有的節點，一些隊列會無法啟用。

轉載于:https://www.cnblogs.com/justinyang/p/8867106.html

總結

以上是生活随笔為你收集整理的hadoop中如何动态更新集群队列和容量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。