Hadoop配置文件
生活随笔
收集整理的這篇文章主要介紹了
Hadoop配置文件
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
部分內容參考:http://www.linuxqq.net/archives/964.html
? ? ? Hadoop有三個重要的配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml,但這三個文件默認情況下均為空,其默認值保存在core-default.xml,hdfs-default.xml,mapred-default.xml中。這三個默認配置文件放在src目錄下。
? ? 在1.2.1版本中,core-default.xml有73個屬性,hdfs-default.xml有76個屬性,mapred-default.xml有136個屬性。
二、常用的端口配置
JobTracker管理地址:http://182.92.160.44:50030/NameNode管理地址:http://182.92.160.44:50070/
2.1??HDFS端口?
| 參數 | 描述 | 默認 | 配置文件 | 例子值 |
| fs.default.name namenode | namenode RPC交互端口 | 8020 | core-site.xml | hdfs://master:8020/ |
| dfs.http.address | NameNode web管理端口 | 50070 | hdfs- site.xml | 0.0.0.0:50070 |
| dfs.datanode.address | datanode 控制端口 | 50010 | hdfs -site.xml | 0.0.0.0:50010 |
| dfs.datanode.ipc.address | datanode的RPC服務器地址和端口 | 50020 | hdfs-site.xml | 0.0.0.0:50020 |
| dfs.datanode.http.address | datanode的HTTP服務器和端口 | 50075 | hdfs-site.xml | 0.0.0.0:50075 |
?
2.2??MR端口
| 參數 | 描述 | 默認 | 配置文件 | 例子值 |
| mapred.job.tracker | job-tracker交互端口 | 8021 | mapred-site.xml | hdfs://master:8021/ |
| job | tracker的web管理端口 | 50030 | mapred-site.xml | 0.0.0.0:50030 |
| mapred.task.tracker.http.address | task-tracker的HTTP端口 | 50060 | mapred-site.xml | 0.0.0.0:50060 |
??
2.3??其它端口
| 參數 | 描述 | 默認 | 配置文件 | 例子值 |
| dfs.secondary.http.address | secondary NameNode web管理端口 | 50090 | hdfs-site.xml | 0.0.0.0:50090 |
| ? | ? | ? | ? | ? |
三、core-site.xml的重要屬性
四、hdfs-site.xml的重要屬性
五、mapred-site.xml的重要屬性
轉載于:https://www.cnblogs.com/jediael/p/4304066.html
總結
以上是生活随笔為你收集整理的Hadoop配置文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Android之ListView异步加载
- 下一篇: ASIHTTPRequest下载数据