原文地址：http://www.linuxqq.net/archives/964.html

獲取默認(rèn)配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個(gè)配置文件，默認(rèn)下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網(wǎng)找的配置可能因?yàn)楦鱾€(gè)hadoop版本不同，導(dǎo)致無法生效。瀏覽更多的配置，有兩個(gè)方法:

1.選擇相應(yīng)版本的hadoop,下載解壓后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認(rèn)配置,可以參考這些配置的說明和key，配置hadoop集群。

2.瀏覽apache官網(wǎng),三個(gè)配置文件鏈接如下:

http://hadoop.apache.org/common/docs/current/core-default.html

http://hadoop.apache.org/common/docs/current/hdfs-default.html

http://hadoop.apache.org/common/docs/current/mapred-default.html

這里是瀏覽hadoop當(dāng)前版本號(hào)的默認(rèn)配置文件，其他版本號(hào)，要另外去官網(wǎng)找。其中第一個(gè)方法找到默認(rèn)的配置是最好的，因?yàn)槊總€(gè)屬性都有說明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。

2 常用的端口配置

2.1 HDFS端口

參數(shù)	描述	默認(rèn)	配置文件	例子值
fs.default.name namenode	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服務(wù)器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服務(wù)器和端口	50075	hdfs-site.xml	0.0.0.0:50075

2.2 MR端口

參數(shù)	描述	默認(rèn)	配置文件	例子值
mapred.job.tracker	job-tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

2.3 其它端口

參數(shù)	描述	默認(rèn)	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:50090

3 三個(gè)缺省配置參考文件說明

3.1 core-default.html

序號(hào)	參數(shù)名	參數(shù)值	參數(shù)說明
1	hadoop.tmp.dir	/tmp/hadoop-${user.name}	臨時(shí)目錄設(shè)定
2	hadoop.native.lib	true	使用本地hadoop庫標(biāo)識(shí)。
3	hadoop.http.filter.initializers		http服務(wù)器過濾鏈設(shè)置
4	hadoop.security.group.mapping	org.apache.hadoop.security.ShellBasedUnixGroupsMapping	組內(nèi)用戶的列表的類設(shè)定
5	hadoop.security.authorization	false	服務(wù)端認(rèn)證開啟
6	hadoop.security.authentication	simple	無認(rèn)證或認(rèn)證設(shè)置
7	hadoop.security.token.service.use_ip	true	是否開啟使用IP地址作為連接的開關(guān)
8	hadoop.logfile.size	10000000	日志文件最大為10M
9	hadoop.logfile.count	10	日志文件數(shù)量為10個(gè)
10	io.file.buffer.size	4096	流文件的緩沖區(qū)為4K
11	io.bytes.per.checksum	512	校驗(yàn)位數(shù)為512字節(jié)
12	io.skip.checksum.errors	false	校驗(yàn)出錯(cuò)后是拋出異常還是略過標(biāo)識(shí)。True則略過。
13	io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec	壓縮和解壓的方式設(shè)置
14	io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序例化和反序列化的類設(shè)定
15	fs.default.name	file:///	缺省的文件URI標(biāo)識(shí)設(shè)定。
16	fs.trash.interval	0	文件廢棄標(biāo)識(shí)設(shè)定，0為禁止此功能
17	fs.file.impl	org.apache.hadoop.fs.LocalFileSystem	本地文件操作類設(shè)置
18	fs.hdfs.impl	org.apache.hadoop.hdfs.DistributedFileSystem	HDFS文件操作類設(shè)置
19	fs.s3.impl	org.apache.hadoop.fs.s3.S3FileSystem	S3文件操作類設(shè)置
20	fs.s3n.impl	org.apache.hadoop.fs.s3native.NativeS3FileSystem	S3文件本地操作類設(shè)置
21	fs.kfs.impl	org.apache.hadoop.fs.kfs.KosmosFileSystem	KFS文件操作類設(shè)置.
22	fs.hftp.impl	org.apache.hadoop.hdfs.HftpFileSystem	HTTP方式操作文件設(shè)置
23	fs.hsftp.impl	org.apache.hadoop.hdfs.HsftpFileSystem	HTTPS方式操作文件設(shè)置
24	fs.webhdfs.impl	org.apache.hadoop.hdfs.web.WebHdfsFileSystem	WEB方式操作文件類設(shè)置
25	fs.ftp.impl	org.apache.hadoop.fs.ftp.FTPFileSystem	FTP文件操作類設(shè)置
26	fs.ramfs.impl	org.apache.hadoop.fs.InMemoryFileSystem	內(nèi)存文件操作類設(shè)置
27	fs.har.impl	org.apache.hadoop.fs.HarFileSystem	壓縮文件操作類設(shè)置.
28	fs.har.impl.disable.cache	true	是否緩存har文件的標(biāo)識(shí)設(shè)定
29	fs.checkpoint.dir	${hadoop.tmp.dir}/dfs/namesecondary	備份名稱節(jié)點(diǎn)的存放目前錄設(shè)置
30	fs.checkpoint.edits.dir	${fs.checkpoint.dir}	備份名稱節(jié)點(diǎn)日志文件的存放目前錄設(shè)置
31	fs.checkpoint.period	3600	動(dòng)態(tài)檢查的間隔時(shí)間設(shè)置
32	fs.checkpoint.size	67108864	日志文件大小為64M
33	fs.s3.block.size	67108864	寫S3文件系統(tǒng)的塊的大小為64M
34	fs.s3.buffer.dir	${hadoop.tmp.dir}/s3	S3文件數(shù)據(jù)的本地存放目錄
35	fs.s3.maxRetries	4	S3文件數(shù)據(jù)的償試讀寫次數(shù)
36	fs.s3.sleepTimeSeconds	10	S3文件償試的間隔
37	local.cache.size	10737418240	緩存大小設(shè)置為10GB
38	io.seqfile.compress.blocksize	1000000	壓縮流式文件中的最小塊數(shù)為100萬
39	io.seqfile.lazydecompress	true	塊是否需要壓縮標(biāo)識(shí)設(shè)定
40	io.seqfile.sorter.recordlimit	1000000	內(nèi)存中排序記錄塊類最小為100萬
41	io.mapfile.bloom.size	1048576	BloomMapFiler過濾量為1M
42	io.mapfile.bloom.error.rate	0.005
43	hadoop.util.hash.type	murmur	缺少hash方法為murmur
44	ipc.client.idlethreshold	4000	連接數(shù)據(jù)最小閥值為4000
45	ipc.client.kill.max	10	一個(gè)客戶端連接數(shù)最大值為10
46	ipc.client.connection.maxidletime	10000	斷開與服務(wù)器連接的時(shí)間最大為10秒
47	ipc.client.connect.max.retries	10	建立與服務(wù)器連接的重試次數(shù)為10次
48	ipc.server.listen.queue.size	128	接收客戶連接的監(jiān)聽隊(duì)例的長(zhǎng)度為128
49	ipc.server.tcpnodelay	false	開啟或關(guān)閉服務(wù)器端TCP連接算法
50	ipc.client.tcpnodelay	false	開啟或關(guān)閉客戶端TCP連接算法
51	webinterface.private.actions	false	Web交互的行為設(shè)定
52	hadoop.rpc.socket.factory.class.default	org.apache.hadoop.net.StandardSocketFactory	缺省的socket工廠類設(shè)置
53	hadoop.rpc.socket.factory.class.ClientProtocol		與dfs連接時(shí)的缺省socket工廠類
54	hadoop.socks.server		服務(wù)端的工廠類缺省設(shè)置為SocksSocketFactory.
55	topology.node.switch.mapping.impl	org.apache.hadoop.net.ScriptBasedMapping
56	topology.script.file.name
57	topology.script.number.args	100	參數(shù)數(shù)量最多為100
58	hadoop.security.uid.cache.secs	14400

3.2 hdfs-default.html

序號(hào)	參數(shù)名	參數(shù)值	參數(shù)說明
1	dfs.namenode.logging.level	info	輸出日志類型
2	dfs.secondary.http.address	0.0.0.0:50090	備份名稱節(jié)點(diǎn)的http協(xié)議訪問地址與端口
3	dfs.datanode.address	0.0.0.0:50010	數(shù)據(jù)節(jié)點(diǎn)的TCP管理服務(wù)地址和端口
4	dfs.datanode.http.address	0.0.0.0:50075	數(shù)據(jù)節(jié)點(diǎn)的HTTP協(xié)議訪問地址和端口
5	dfs.datanode.ipc.address	0.0.0.0:50020	數(shù)據(jù)節(jié)點(diǎn)的IPC服務(wù)訪問地址和端口
6	dfs.datanode.handler.count	3	數(shù)據(jù)節(jié)點(diǎn)的服務(wù)連接處理線程數(shù)
7	dfs.http.address	0.0.0.0:50070	名稱節(jié)點(diǎn)的http協(xié)議訪問地址與端口
8	dfs.https.enable	false	支持https訪問方式標(biāo)識(shí)
9	dfs.https.need.client.auth	false	客戶端指定https訪問標(biāo)識(shí)
10	dfs.https.server.keystore.resource	ssl-server.xml	Ssl密鑰服務(wù)端的配置文件
11	dfs.https.client.keystore.resource	ssl-client.xml	Ssl密鑰客戶端的配置文件
12	dfs.datanode.https.address	0.0.0.0:50475	數(shù)據(jù)節(jié)點(diǎn)的HTTPS協(xié)議訪問地址和端口
13	dfs.https.address	0.0.0.0:50470	名稱節(jié)點(diǎn)的HTTPS協(xié)議訪問地址和端口
14	dfs.datanode.dns.interface	default	數(shù)據(jù)節(jié)點(diǎn)采用IP地址標(biāo)識(shí)
15	dfs.datanode.dns.nameserver	default	指定DNS的IP地址
16	dfs.replication.considerLoad	true	加載目標(biāo)或不加載的標(biāo)識(shí)
17	dfs.default.chunk.view.size	32768	瀏覽時(shí)的文件塊大小設(shè)置為32K
18	dfs.datanode.du.reserved	0	每個(gè)卷預(yù)留的空閑空間數(shù)量
19	dfs.name.dir	${hadoop.tmp.dir}/dfs/name	存貯在本地的名字節(jié)點(diǎn)數(shù)據(jù)鏡象的目錄,作為名字節(jié)點(diǎn)的冗余備份
20	dfs.name.edits.dir	${dfs.name.dir}	存貯文件操作過程信息的存貯目錄
21	dfs.web.ugi	webuser,webgroup	Web接口訪問的用戶名和組的帳戶設(shè)定
22	dfs.permissions	true	文件操作時(shí)的權(quán)限檢查標(biāo)識(shí)。
23	dfs.permissions.supergroup	supergroup	超級(jí)用戶的組名定義
24	dfs.block.access.token.enable	false	數(shù)據(jù)節(jié)點(diǎn)訪問令牌標(biāo)識(shí)
25	dfs.block.access.key.update.interval	600	升級(jí)訪問鑰時(shí)的間隔時(shí)間
26	dfs.block.access.token.lifetime	600	訪問令牌的有效時(shí)間
27	dfs.data.dir	${hadoop.tmp.dir}/dfs/data	數(shù)據(jù)節(jié)點(diǎn)的塊本地存放目錄
28	dfs.datanode.data.dir.perm	755	數(shù)據(jù)節(jié)點(diǎn)的存貯塊的目錄訪問權(quán)限設(shè)置
29	dfs.replication	3	缺省的塊復(fù)制數(shù)量
30	dfs.replication.max	512	塊復(fù)制的最大數(shù)量
31	dfs.replication.min	1	塊復(fù)制的最小數(shù)量
32	dfs.block.size	67108864	缺省的文件塊大小為64M
33	dfs.df.interval	60000	磁盤空間統(tǒng)計(jì)間隔為6秒
34	dfs.client.block.write.retries	3	塊寫入出錯(cuò)時(shí)的重試次數(shù)
35	dfs.blockreport.intervalMsec	3600000	塊的報(bào)告間隔時(shí)為1小時(shí)
36	dfs.blockreport.initialDelay	0	塊順序報(bào)告的間隔時(shí)間
37	dfs.heartbeat.interval	3	數(shù)據(jù)節(jié)點(diǎn)的心跳檢測(cè)間隔時(shí)間
38	dfs.namenode.handler.count	10	名稱節(jié)點(diǎn)的連接處理的線程數(shù)量
39	dfs.safemode.threshold.pct	0.999f	啟動(dòng)安全模式的閥值設(shè)定
40	dfs.safemode.extension	30000	當(dāng)閥值達(dá)到量值后擴(kuò)展的時(shí)限
41	dfs.balance.bandwidthPerSec	1048576	啟動(dòng)負(fù)載均衡的數(shù)據(jù)節(jié)點(diǎn)可利用帶寬最大值為1M
42	dfs.hosts		可與名稱節(jié)點(diǎn)連接的主機(jī)地址文件指定。
43	dfs.hosts.exclude		不充計(jì)與名稱節(jié)點(diǎn)連接的主機(jī)地址文件設(shè)定
44	dfs.max.objects	0	文件數(shù)、目錄數(shù)、塊數(shù)的最大數(shù)量
45	dfs.namenode.decommission.interval	30	名稱節(jié)點(diǎn)解除命令執(zhí)行時(shí)的監(jiān)測(cè)時(shí)間周期
46	dfs.namenode.decommission.nodes.per.interval	5	名稱節(jié)點(diǎn)解除命令執(zhí)行是否完檢測(cè)次數(shù)
47	dfs.replication.interval	3	名稱節(jié)點(diǎn)計(jì)算數(shù)據(jù)節(jié)點(diǎn)的復(fù)制工作的周期數(shù).
48	dfs.access.time.precision	3600000	充許訪問文件的時(shí)間精確到1小時(shí)
49	dfs.support.append	false	是否充許鏈接文件指定
50	dfs.namenode.delegation.key.update-interval	86400000	名稱節(jié)點(diǎn)上的代理令牌的主key的更新間隔時(shí)間為24小時(shí)
51	dfs.namenode.delegation.token.max-lifetime	604800000	代理令牌的有效時(shí)間最大值為7天
52	dfs.namenode.delegation.token.renew-interval	86400000	代理令牌的更新時(shí)間為24小時(shí)
53	dfs.datanode.failed.volumes.tolerated	0	決定停止數(shù)據(jù)節(jié)點(diǎn)提供服務(wù)充許卷的出錯(cuò)次數(shù)。0次則任何卷出錯(cuò)都要停止數(shù)據(jù)節(jié)點(diǎn)

3.3 mapred-default.html

序號(hào)	參數(shù)名	參數(shù)值	參數(shù)說明
1	hadoop.job.history.location		作業(yè)跟蹤管理器的靜態(tài)歷史文件的存放目錄。
2	hadoop.job.history.user.location		可以指定具體某個(gè)作業(yè)的跟蹤管理器的歷史文件存放目錄
3	mapred.job.tracker.history.completed.location		已完成作業(yè)的歷史文件的存放目錄
4	io.sort.factor	10	排完序的文件的合并時(shí)的打開文件句柄數(shù)
5	io.sort.mb	100	排序文件的內(nèi)存緩存大小為100M
6	io.sort.record.percent	0.05	排序線程阻塞的內(nèi)存緩存剩余比率
7	io.sort.spill.percent	0.80	當(dāng)緩沖占用量為該值時(shí)，線程需要將內(nèi)容先備份到磁盤中。
8	io.map.index.skip	0	索引條目的間隔設(shè)定
9	mapred.job.tracker	local	作業(yè)跟蹤管理器是否和MR任務(wù)在一個(gè)進(jìn)程中
10	mapred.job.tracker.http.address	0.0.0.0:50030	作業(yè)跟蹤管理器的HTTP服務(wù)器訪問端口和地址
11	mapred.job.tracker.handler.count	10	作業(yè)跟蹤管理器的管理線程數(shù),線程數(shù)比例是任務(wù)管理跟蹤器數(shù)量的0.04
12	mapred.task.tracker.report.address	127.0.0.1:0	任務(wù)管理跟蹤器的主機(jī)地址和端口地址
13	mapred.local.dir	${hadoop.tmp.dir}/mapred/local	MR的中介數(shù)據(jù)文件存放目錄
14	mapred.system.dir	${hadoop.tmp.dir}/mapred/system	MR的控制文件存放目錄
15	mapreduce.jobtracker.staging.root.dir	${hadoop.tmp.dir}/mapred/staging	每個(gè)正在運(yùn)行作業(yè)文件的存放區(qū)
16	mapred.temp.dir	${hadoop.tmp.dir}/mapred/temp	MR臨時(shí)共享文件存放區(qū)
17	mapred.local.dir.minspacestart	0	MR本地中介文件刪除時(shí)，不充許有任務(wù)執(zhí)行的數(shù)量值。
18	mapred.local.dir.minspacekill	0	MR本地中介文件刪除時(shí)，除非所有任務(wù)都已完成的數(shù)量值。
19	mapred.tasktracker.expiry.interval	600000	任務(wù)管理跟蹤器不發(fā)送心跳的累計(jì)時(shí)間間隔超過600秒，則任務(wù)管理跟蹤器失效
20	mapred.tasktracker.resourcecalculatorplugin		指定的一個(gè)用戶訪問資源信息的類實(shí)例
21	mapred.tasktracker.taskmemorymanager.monitoring-interval	5000	監(jiān)控任務(wù)管理跟蹤器任務(wù)內(nèi)存使用率的時(shí)間間隔
22	mapred.tasktracker.tasks.sleeptime-before-sigkill	5000	發(fā)出進(jìn)程終止后，間隔5秒后發(fā)出進(jìn)程消亡信號(hào)
23	mapred.map.tasks	2	每個(gè)作業(yè)缺省的map任務(wù)數(shù)為2
24	mapred.reduce.tasks	1	每個(gè)作業(yè)缺省的reduce任務(wù)數(shù)為1
25	mapreduce.tasktracker.outofband.heartbeat	false	讓在任務(wù)結(jié)束后發(fā)出一個(gè)額外的心跳信號(hào)
26	mapreduce.tasktracker.outofband.heartbeat.damper	1000000	當(dāng)額外心跳信號(hào)發(fā)出量太多時(shí)，則適當(dāng)阻止
27	mapred.jobtracker.restart.recover	false	充許任務(wù)管理器恢復(fù)時(shí)采用的方式
28	mapred.jobtracker.job.history.block.size	3145728	作業(yè)歷史文件塊的大小為3M
29	mapreduce.job.split.metainfo.maxsize	10000000	分隔元信息文件的最大值是10M以下
30	mapred.jobtracker.taskScheduler	org.apache.hadoop.mapred.JobQueueTaskScheduler	設(shè)定任務(wù)的執(zhí)行計(jì)劃實(shí)現(xiàn)類
31	mapred.jobtracker.taskScheduler.maxRunningTasksPerJob		作業(yè)同時(shí)運(yùn)行的任務(wù)數(shù)的最大值
32	mapred.map.max.attempts	4	Map任務(wù)的重試次數(shù)
33	mapred.reduce.max.attempts	4	Reduce任務(wù)的重試次數(shù)
34	mapred.reduce.parallel.copies	5	在復(fù)制階段時(shí)reduce并行傳送的值。
35	mapreduce.reduce.shuffle.maxfetchfailures	10	取map輸出的最大重試次數(shù)
36	mapreduce.reduce.shuffle.connect.timeout	180000	REDUCE任務(wù)連接任務(wù)管理器獲得map輸出時(shí)的總耗時(shí)是3分鐘
37	mapreduce.reduce.shuffle.read.timeout	180000	REDUCE任務(wù)等待map輸出數(shù)據(jù)的總耗時(shí)是3分鐘
38	mapred.task.timeout	600000	如果任務(wù)無讀無寫時(shí)的時(shí)間耗時(shí)為10分鐘，將被終止
39	mapred.tasktracker.map.tasks.maximum	2	任管管理器可同時(shí)運(yùn)行map任務(wù)數(shù)為2
40	mapred.tasktracker.reduce.tasks.maximum	2	任管管理器可同時(shí)運(yùn)行reduce任務(wù)數(shù)為2
41	mapred.jobtracker.completeuserjobs.maximum	100	當(dāng)用戶的完成作業(yè)數(shù)達(dá)100個(gè)后，將其放入作業(yè)歷史文件中
42	mapreduce.reduce.input.limit	-1	Reduce輸入量的限制。
43	mapred.job.tracker.retiredjobs.cache.size	1000	作業(yè)狀態(tài)為已不在執(zhí)行的保留在內(nèi)存中的量為1000
44	mapred.job.tracker.jobhistory.lru.cache.size	5	作業(yè)歷史文件裝載到內(nèi)存的數(shù)量
45	mapred.child.java.opts	-Xmx200m	啟動(dòng)task管理的子進(jìn)程時(shí)的內(nèi)存設(shè)置
46	mapred.child.env		子進(jìn)程的參數(shù)設(shè)置
47	mapred.child.ulimit		虛擬機(jī)所需內(nèi)存的設(shè)定。
48	mapred.cluster.map.memory.mb	-1
49	mapred.cluster.reduce.memory.mb	-1
50	mapred.cluster.max.map.memory.mb	-1
51	mapred.cluster.max.reduce.memory.mb	-1
52	mapred.job.map.memory.mb	-1
53	mapred.job.reduce.memory.mb	-1
54	mapred.child.tmp	/tmp	Mr任務(wù)信息的存放目錄
55	mapred.inmem.merge.threshold	1000	內(nèi)存中的合并文件數(shù)設(shè)置
56	mapred.job.shuffle.merge.percent	0.66
57	mapred.job.shuffle.input.buffer.percent	0.70
58	mapred.job.reduce.input.buffer.percent	0.0
59	mapred.map.tasks.speculative.execution	true	Map任務(wù)的多實(shí)例并行運(yùn)行標(biāo)識(shí)
60	mapred.reduce.tasks.speculative.execution	true	Reduce任務(wù)的多實(shí)例并行運(yùn)行標(biāo)識(shí)
61	mapred.job.reuse.jvm.num.tasks	1	每虛擬機(jī)運(yùn)行的任務(wù)數(shù)
62	mapred.min.split.size	0	Map的輸入數(shù)據(jù)被分解的塊數(shù)設(shè)置
63	mapred.jobtracker.maxtasks.per.job	-1	一個(gè)單獨(dú)作業(yè)的任務(wù)數(shù)設(shè)置
64	mapred.submit.replication	10	提交作業(yè)文件的復(fù)制級(jí)別
65	mapred.tasktracker.dns.interface	default	任務(wù)管理跟蹤器是否報(bào)告IP地址名的開關(guān)
66	mapred.tasktracker.dns.nameserver	default	作業(yè)和任務(wù)管理跟蹤器之間通訊方式采用的DNS服務(wù)的主機(jī)名或IP地址
67	tasktracker.http.threads	40	http服務(wù)器的工作線程數(shù)量
68	mapred.task.tracker.http.address	0.0.0.0:50060	任務(wù)管理跟蹤器的http服務(wù)器的地址和端口
69	keep.failed.task.files	false	失敗任務(wù)是否保存到文件中
70	mapred.output.compress	false	作業(yè)的輸出是否壓縮
71	mapred.output.compression.type	RECORD	作業(yè)輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件
72	mapred.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec	壓縮類的設(shè)置
73	mapred.compress.map.output	false	Map的輸出是否壓縮
74	mapred.map.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec	Map的輸出壓縮的實(shí)現(xiàn)類指定
75	map.sort.class	org.apache.hadoop.util.QuickSort	排序鍵的排序類指定
76	mapred.userlog.limit.kb	0	每個(gè)任務(wù)的用戶日志文件大小
77	mapred.userlog.retain.hours	24	作業(yè)完成后的用戶日志留存時(shí)間為24小時(shí)
78	mapred.user.jobconf.limit	5242880	Jobconf的大小為5M
79	mapred.hosts		可與作業(yè)管理跟蹤器連接的主機(jī)名
80	mapred.hosts.exclude		不可與作業(yè)管理跟蹤器連接的主機(jī)名
81	mapred.heartbeats.in.second	100	作業(yè)管理跟蹤器的每秒中到達(dá)的心跳數(shù)量為100
82	mapred.max.tracker.blacklists	4	任務(wù)管理跟蹤器的黑名單列表的數(shù)量
83	mapred.jobtracker.blacklist.fault-timeout-window	180	任務(wù)管理跟蹤器超時(shí)180分鐘則訪任務(wù)將被重啟
84	mapred.jobtracker.blacklist.fault-bucket-width	15
85	mapred.max.tracker.failures	4	任務(wù)管理跟蹤器的失敗任務(wù)數(shù)設(shè)定
86	jobclient.output.filter	FAILED	控制任務(wù)的用戶日志輸出到作業(yè)端時(shí)的過濾方式
87	mapred.job.tracker.persist.jobstatus.active	false	是否持久化作業(yè)管理跟蹤器的信息
88	mapred.job.tracker.persist.jobstatus.hours	0	持久化作業(yè)管理跟蹤器的信息的保存時(shí)間
89	mapred.job.tracker.persist.jobstatus.dir	/jobtracker/jobsInfo	作業(yè)管理跟蹤器的信息存放目錄
90	mapreduce.job.complete.cancel.delegation.tokens	true	恢復(fù)時(shí)是否變更領(lǐng)牌
91	mapred.task.profile	false	任務(wù)分析信息是否建設(shè)標(biāo)志
92	mapred.task.profile.maps	0-2	設(shè)置map任務(wù)的分析范圍
93	mapred.task.profile.reduces	0-2	設(shè)置reduce任務(wù)的分析范圍
94	mapred.line.input.format.linespermap	1	每次切分的行數(shù)設(shè)置
95	mapred.skip.attempts.to.start.skipping	2	在跳轉(zhuǎn)模式未被設(shè)定的情況下任務(wù)的重試次數(shù)
96	mapred.skip.map.auto.incr.proc.count	true	MapRunner在調(diào)用map功能后的增量處理方式設(shè)置
97	mapred.skip.reduce.auto.incr.proc.count	true	在調(diào)用reduce功能后的增量處理方式設(shè)置
98	mapred.skip.out.dir		跳過記錄的輸出目錄
99	mapred.skip.map.max.skip.records	0
100	mapred.skip.reduce.max.skip.groups	0
101	job.end.retry.attempts	0	Hadoop償試連接通知器的次數(shù)
102	job.end.retry.interval	30000	通知償試回應(yīng)的間隔操作為30秒
103	hadoop.rpc.socket.factory.class.JobSubmissionProtocol		指定與作業(yè)跟蹤管理器的通訊方式，缺省是采用rpc方式
104	mapred.task.cache.levels	2	任務(wù)緩存級(jí)別設(shè)置
105	mapred.queue.names	default	分隔作業(yè)隊(duì)例的分隔符設(shè)定
106	mapred.acls.enabled	false	指定ACL訪問控制列表
107	mapred.queue.default.state	RUNNING	定義隊(duì)列的狀態(tài)
108	mapred.job.queue.name	default	已提交作業(yè)的隊(duì)列設(shè)定
109	mapreduce.job.acl-modify-job		指定可修改作業(yè)的ACL列表
110	mapreduce.job.acl-view-job		指定可瀏臨作業(yè)的ACL列表
111	mapred.tasktracker.indexcache.mb	10	任務(wù)管理跟蹤器的索引內(nèi)存的最大容器
112	mapred.combine.recordsBeforeProgress	10000	在聚合處理時(shí)的記錄塊數(shù)
113	mapred.merge.recordsBeforeProgress	10000	在匯總處理時(shí)的記錄塊數(shù)
114	mapred.reduce.slowstart.completed.maps	0.05
115	mapred.task.tracker.task-controller	org.apache.hadoop.mapred.DefaultTaskController	任務(wù)管理器的設(shè)定
116	mapreduce.tasktracker.group		任務(wù)管理器的組成員設(shè)定
117	mapred.healthChecker.script.path		腳本的絕對(duì)路徑指定，這些腳本是心跳服務(wù)的
118	mapred.healthChecker.interval	60000	節(jié)點(diǎn)心跳信息的間隔
119	mapred.healthChecker.script.timeout	600000
120	mapred.healthChecker.script.args		參數(shù)列表
121	mapreduce.job.counters.limit	120	作業(yè)計(jì)數(shù)器的最小值

轉(zhuǎn)載于:https://blog.51cto.com/kisuntech/1304736

總結(jié)

以上是生活随笔為你收集整理的hadoop配置文件默认配置的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。