hadoop2 5个环境配置文件
安裝hadoop
1.1 vi hadoop-env.sh(config file)
export JAVA_HOME=/root/apps/jdk1.7.0_65
1.2 vi core-site.xml(config file)
<!-- 指定HADOOP所使用的文件系統schema(URI),HDFS的老大(NameNode)的地址 -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp-server01:9000</value>
</property>
<!-- 指定hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>
</configuration>
1.3 hdfs-site.xml(config file)
<!-- 指定HDFS副本的數量 -->
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 可選 namenode可以放置多個目錄備份-->
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/name1,/home/hadoop/name2</value>
</property>
</configuration>
重命名:mv mapred-site.xml.template mapred-site.xml
1.4 mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)(config file)
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!-- 指定mr運行在yarn上 -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1.5 yarn-site.xml(config file)
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp-server01</value>
</property>
<!-- reducer獲取數據的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1.6 slaves
/etc/hadoop/slaves
hdp-server01
hdp-server02
hdp-server03
轉載于:https://www.cnblogs.com/geek-sharing/p/9469843.html
與50位技術專家面對面20年技術見證,附贈技術全景圖總結
以上是生活随笔為你收集整理的hadoop2 5个环境配置文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TouchAction实现连续滑动设置手
- 下一篇: linux swap交换分区说明/管理