在運行MapReduce任務的時候如何避免這種情況！

100多個map任務，但是只有1個reduce任務；

此時在mapred-site.xml中修改配置

<property><name>mapred.map.tasks</name><value>10</value><description>As?a?rule?of?thumb,?use?10x?the?number?of?slaves(i.e.,?number?of?tasktrackers).??????????

</description></property>

<property><name>mapred.reduce.tasks</name><value>2</value><description>As?a?rule?of?thumb,?use?2x?the?number?of?slaveprocessors?(i.e.,?number?of?tasktrackers).

</description></property>

map任務的個數建議設置為slave*10（實際上無法控制，map任務的數量是輸入分片的數量）， ?reduce任務的個數（分區的個數），建議設置為2*salve

?

總結

以上是生活随笔為你收集整理的Hadoop2调优（一）：如何控制job的map任务和reduce任务的数量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。