第一個參數：container分配最小內存

?yarn.scheduler.minimum-allocation-mb?? ? 1024?? 給應用程序container分配的最小內存

第二個參數：container分配最大內存

?yarn.scheduler.maximum-allocation-mb? ? 8192? 給應用程序container分配的最大內存

第三個參數：每個container的最小虛擬內核個數

yarn.scheduler.minimum-allocation-vcores ? 1 ? 每個container默認給分配的最小的虛擬內核個數

第四個參數：每個container的最大虛擬內核個數

yarn.scheduler.maximum-allocation-vcores?? ?32? 每個container可以分配的最大的虛擬內核的個數

第五個參數：nodeManager可以分配的內存大小

yarn.nodemanager.resource.memory-mb?? 8192? nodemanager可以分配的最大內存大小，默認8192Mb

在我們?yōu)g覽yarn的管理界面的時候會發(fā)現一個問題

我們可以在yarn-site.xml當中修改以下兩個參數來改變默認值。

?

定義每臺機器的內存使用大小

yarn.nodemanager.resource.memory-mb

8192

定義每臺機器的虛擬內核使用大小

yarn.nodemanager.resource.cpu-vcores

8

定義交換區(qū)空間可以使用的大小（交換區(qū)空間就是講一塊硬盤拿出來做內存使用）

這里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio

2.1

?

=================================================================================

?

總結回顧：

盡量搞定：
1、共同好友：求取哪些人兩兩之間有共同好友，需要使用兩個mapreduce來實現
2、倒排索引的建立 某個單詞在文章當中出現了多少次
3、自定義inputFormat合并小文件 合并小文件成sequenceFile 使用SequenceFileOutputFormat來將我們的文件輸出成sequenceFile
4、自定義outputformat 將我們的數據輸出到不同的目錄下面去
5、分組求取topN 自定義groupingComparator實現我們分組求TopN

mapreduce的其他補充：了解
mapreduce的參數優(yōu)化：隨便背兩個
yarn資源調度： 三種調度器 得要知道

?

轉載于:https://www.cnblogs.com/mediocreWorld/p/11042767.html

總結

以上是生活随笔為你收集整理的第1节 yarn：15、关于yarn中常用的参数设置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。