當(dāng)前位置：首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

hadoop Federation搭建

發(fā)布時(shí)間：2025/3/20 编程问答 19 豆豆

生活随笔收集整理的這篇文章主要介紹了 hadoop Federation搭建小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

組網(wǎng)說(shuō)明：

hadoop1.localdomain? ??192.168.11.81（namenode）

hadoop2.localdomain? ??192.168.11.82（namenode）

hadoop3.localdomain? ??192.168.11.83(datanode)

hadoop4.localdomain? ??192.168.11.84(datanode)

hadoop5.localdomain? ??192.168.11.85(datanode)

第一步：卸載openjdk

rpm -qa |grep java

#查看已經(jīng)安裝的與java相關(guān)的包

rpm -e java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e tzdata-java-2013g-1.el6.noarch

#################################################################

第二步：禁用IPV6

echo net.ipv6.conf.all.disable_ipv6=1 >>/etc/sysctl.conf

echo "alias net-pf-10 off" >>/etc/modprobe.d/dist.conf

echo "alias ipv6 off" >>/etc/modprobe.d/dist.conf

reboot

##########################################################

第三步：解壓hadoop壓縮包

把壓縮包導(dǎo)入到/usr目錄

cd /usr

tar -zxvf hadoop--642.4.0.tar.gz

把目錄重命名為hadoop

mv hadoop--642.4.0 hadoop

安裝jdk1.7,把安裝包導(dǎo)入到/usr目錄

cd /usr

rpm -ivh jdk-7u71-linux-x64.rpm

####################################################################

第四步：設(shè)置JAVA&HADOOP環(huán)境變量

vi /etc/profile

#set java environment

export JAVA_HOME=/usr/java/jdk1.7.0_71/

export HADOOP_PREFIX=/usr/hadoop/

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

#set hadoop environment

export HADOOP_HOME=/usr/hadoop/

export PATH=$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin/

#使配置生效

source /etc/profile

或者重啟服務(wù)器，也會(huì)重新加載該配置

################################################

第五步：創(chuàng)建hdfs需要的目錄

mkdir -p /home/hadoop/dfs/name

mkdir -p /home/hadoop/dfs/data

##############################

第六步：java enviromnet追加到hadoop環(huán)境變量配置文件中

echo export JAVA_HOME=/usr/java/jdk1.7.0_71/ >>/usr/hadoop/etc/hadoop/hadoop-env.sh

echo export JAVA_HOME=/usr/java/jdk1.7.0_71/ >>/usr/hadoop/etc/hadoop/yarn-env.sh

####################################################################################

第七步：免ssh key,可以只在namenode上，因?yàn)橐话闱闆r下，由namenode控制datanode

略，查看相關(guān)配置手冊(cè)

####################

第八步：編輯datanode配置文件，只在namenode上

[root@hadoop1 hadoop]# pwd

/usr/hadoop/etc/hadoop

[root@hadoop1 hadoop]# more slaves?

hadoop3.localdomain

hadoop4.localdomain

hadoop5.localdomain

########################################

[root@hadoop1 hadoop]# more core-site.xml?

? <property>

? ? <name>fs.defaultFS</name>

? ? <value>hdfs://hadoop1.localdomain:8020</value>

? </property>

# <property>

# ? ?<name>fs.defaultFS</name>

# ? ?<value>viewfs://nsX</value>

# ?</property>

?<property>

? ? <name>io.file.buffer.size</name>

? ? <value>131072</value>

? </property>

? <property>

? ? <name>hadoop.tmp.dir</name>

? ? <value>file:/home/hadoop/tmp</value>

? </property>

? <property>

? ? <name>hadoop.proxyuser.hadoop.hosts</name>

? ? <value>*</value>

? </property>

? <property>

? ? <name>hadoop.proxyuser.hadoop.groups</name>

? ? <value>*</value>

? </property>

</configuration>

###########################################

hdfs-site.xml?

? ? <name>dfs.namenode.name.dir</name>

? ? <value>/home/hadoop/dfs/name</value>

? </property>

? <property>

? ? <name>dfs.datanode.data.dir</name>

? ? <value>/home/hadoop/dfs/data</value>

? </property>

? <property>

? ? <name>dfs.replication</name>

? ? <value>3</value>

? </property>

? <property>

? ? <name>dfs.webhdfs.enabled</name>

? ? <value>true</value>

? </property>

###############################

? <property>

? ?<name>dfs.federation.nameservices</name>

? ? <value>ns1,ns2</value>

? </property>

? <property>

? ?<name>dfs.namenode.rpc-address.ns1</name>

? ?<value>hadoop1.localdomain:8020</value>

? </property>

? <property>

? ?<name>dfs.namenode.http-address.ns1</name>

? ?<value>hadoop1.localdomain:50070</value>

? </property>

? <property>

? ?<name>dfs.namenode.secondaryhttp-address.ns1</name>

? ?<value>hadoop1.localdomain:50080</value>

? </property>

? <property>

? ?<name>dfs.namenode.rpc-address.ns2</name>

? ?<value>hadoop2.localdomain:8020</value>

? </property>

? <property>

? ?<name>dfs.namenode.http-address.ns2</name>

? ?<value>hadoop2.localdomain:50070</value>

? </property>

? <property>

? ?<name>dfs.namenode.secondaryhttp-address.ns2</name>

? ?<value>hadoop2.localdomain:50080</value>

? </property>

#################################

mapred-site.xml

? ? <name>mapreduce.framework.name</name>

? ? <value>yarn</value>

? </property>

? <property>

? ? <name>mapreduce.jobhistory.address</name>

? ? <value>hadoop1.localdomain:10020</value>

? </property>

? <property>

? ? <name>mapreduce.jobhistory.webapp.address</name>

? ? <value>hadoop1.localdomain:19888</value>

? </property>

###########################

yarn-site.xml?

? ? <name>yarn.nodemanager.aux-services</name>

? ? <value>mapreduce_shuffle</value>

? </property>

? <property>

? ? <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

? ? <value>org.apache.hadoop.mapred.ShuffleHandler</value>

? </property>

? <property>

? ? <name>yarn.resourcemanager.address</name>

? ? <value>hadoop1.localdomain:8032</value>

? </property>

? <property>

? ? <name>yarn.resourcemanager.scheduler.address</name>

? ? <value>hadoop1.localdomain:8030</value>

? </property>

? <property>

? ? <name>yarn.resourcemanager.resource-tracker.address</name>

? ? <value>hadoop1.localdomain:8031</value>

? </property>

? <property>

? ? <name>yarn.resourcemanager.admin.address</name>

? ? <value>hadoop1.localdomain:8033</value>

? </property>

? <property>

? ? <name>yarn.resourcemanager.webapp.address</name>

? ? <value>hadoop1.localdomain:8088</value>

? </property>

#############################

1、在hadoop1上，把hadoop所在文件夾拷貝到其他節(jié)點(diǎn)上，不用更改配置

scp /usr/hadoop hadoop2:/usr/

scp /usr/hadoop hadoop3:/usr/

scp /usr/hadoop hadoop4:/usr/

scp /usr/hadoop hadoop5:/usr/

2、格式化namenode，兩個(gè)namenode都要格式化，切clusterid

hdfs namenode -format -clusterId MyHadoopCluster

MyHadoopCluster是以字符串的形式

3、每次格式化namenode之前，要?jiǎng)h除緩存

rm -rf /home/hadoop/dfs/data/*

rm -rf /home/hadoop/dfs/name/*

4、

開(kāi)啟

start-all.sh

關(guān)閉

stop-all.sh

訪問(wèn)方式：

http://hadoop1.localdomain:50070/dfsclusterhealth.jsp

http://hadoop1.localdomain:50070/dfshealth.jsp

http://hadoop1.localdomain:50070/dfshealth.html#tab-overview

http://hadoop1.localdomain:8088/cluster/nodes

參考閱讀：

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/Federation.html

http://zh.hortonworks.com/blog/an-introduction-to-hdfs-federation/

轉(zhuǎn)載于:https://blog.51cto.com/zqxiang/1589556

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的hadoop Federation搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： BZOJ 3085: 反质数加强版SAP
下一篇：【HDOJ】3006 The Numbe