2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

1.配置hosts

各linux版本hosts文件位置可能不同，redhat是在 /etc/hosts，編輯之：

172.17.0.1????master 172.17.0.2????resorucemanager 172.17.0.3????datanode1 172.17.0.4????datanode2 172.17.0.5????datanode3

然后copy到其余四臺(tái)服務(wù)器，然后分別執(zhí)行 /bin/hostsname hostsname

例如：master上執(zhí)行 /bin/hostsname master，使之生效。

2.配置ssh

2.1 創(chuàng)建hadoop用戶

注意：hadoop有兩種運(yùn)行模式，安全模式和非安全模式。安裝模式是以指定在健壯的，基于身份驗(yàn)證上運(yùn)行的，如果無(wú)需運(yùn)行在非安全模式下，可以直接使用root用戶。

安全模式下要確保hdfs和yarn以不同的用戶身份運(yùn)行，如hdfs和yarn，還有確保mapreduce jobhistory server以u(píng)ser mapred運(yùn)行。推薦這三個(gè)身份使用一個(gè)組名為hadoop。這里為了方便直接使用root。

2.2 配置master無(wú)密碼ssh各服務(wù)器

在master執(zhí)行操作：

ssh-keygen?-t?rsa

然后一直回車，最后在/root/.ssh/目錄下生成了兩個(gè)文件 id_rsa 和 id_rsa.pub

cat?id_rsa.pub?>?./authorized_keys

然后復(fù)制到其他服務(wù)器（若沒(méi)有.ssh文件夾需手動(dòng)創(chuàng)建）

scp?authorized_keys?resourcemanager:/root/.ssh/ scp?authorized_keys?datanode1:/root/.ssh/ scp?authorized_keys?datanode2:/root/.ssh/ scp?authorized_keys?datanode3:/root/.ssh/

驗(yàn)證能否無(wú)密碼ssh，在master服務(wù)器上執(zhí)行操作：

ssh?master

注意：第一次可能會(huì)提示輸入yes or no，之后就可以直接ssh登錄了。

同理驗(yàn)證其余四臺(tái)主機(jī)是否可用無(wú)密碼ssh登錄。

3.配置jdk和hadoop環(huán)境變量

版本：jdk1.7.0_55 hadoop-2.4.0

下載并解壓到

/opt/tools/jdk1.7.0_55?

/opt/hadoop-2.4.0

編輯 /etc/profile，在最后加上

export?JAVA_HOME=/opt/tools/jdk1.7.0_55 export?JRE_HOME=$JAVA_HOME/jre export?HADOOP_HOME=/opt/hadoop-2.4.0 export?HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export?HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export?CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export?PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

保存退出，執(zhí)行下列命令使之生效

source?/etc/profile

4.配置hadoop

配置文件目錄為hadoop-2.4.0/etc/hadoop/

4.1 在yarn-env.sh 和hadoop-env.sh文件中加上jdk路徑

export?JAVA_HOME=/opt/tools/jdk1.7.0_55

4.2 core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><final>true</final></property><property><name>hadoop.tmp.dir</name><value>/opt/tmp/hadoop-${user.name}</value></property><property><name>io.file.buffer.size</name><value>131072</value></property> </configuration>

4.3 hdfs-site.xml

<configuration><property><name>dfs.namenode.name.dir</name><value>file:/opt/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property> </configuration>

4.4 mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description>Execution?framework?set?to?Hadoop?YARN.</description></property> </configuration>

4.5 yarn-site.xml

<configuration><property><name>yarn.resourcemanager.address</name><value>jobtracker:9001</value><description>The?address?of?the?applications?manager?interface?in?the?RM.</description></property><property><name>yarn.resourcemanager.scheduler.address</name><value>jobtracker:18030</value><description>The?address?of?the?scheduler?interface,in?order?for?the?RM?to?obtain?the?resource?from?scheduler</description></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>jobtracker:18025</value><description>The?address?of?the?resource?tracker?interface?for?the?nodeManagers</description></property><property><name>yarn.resourcemanager.admin.address</name><value>jobtracker:18035</value><description>The?address?for?admin?manager</description></property><property><name>yarn.resourcemanager.webapp.address</name><value>jobtracker:18088</value><description>The?address?of?the?RM?web?application.</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>

4.6 slaves

在該文件中添加

datanode1 datanode2 datanode3

注意：上面配置文件中出現(xiàn)的目錄需要自己創(chuàng)建。配置文件需要復(fù)制到各個(gè)服務(wù)器上，并且個(gè)服務(wù)器目錄結(jié)構(gòu)要相同。

5.運(yùn)行hadoop

為了以防某個(gè)節(jié)點(diǎn)未啟動(dòng)報(bào)錯(cuò)，建議單獨(dú)啟動(dòng)每項(xiàng)節(jié)點(diǎn)，啟動(dòng)順序依次為：

• 格式化namenode（master）：

hdfs?namenode?-format

• 啟動(dòng)namenode（master）：

/opt/hadoop-2.4.0/sbin/hadoop-daemon.sh?--config?/opt/hadoop-2.4.0/etc/hadoop?--script?hdfs?start?namenode

• 啟動(dòng)datanode（master）：

/opt/hadoop-2.4.0/sbin/hadoop-daemon.sh?--config?/opt/hadoop-2.4.0/etc/hadoop?--script?hdfs?start?datanode

• 啟動(dòng)resourcemanager（resourcemanager）

/opt/hadoop-2.4.0/sbin/yarn-daemon.sh?--config?/opt/hadoop-2.4.0/etc/hadoop?start?resourcemanager

• 啟動(dòng)nodemanager（resourcemanager）

/opt/hadoop-2.4.0/sbin/yarn-daemon.sh?--config?/opt/hadoop-2.4.0/etc/hadoop?start?nodemanager

• 啟動(dòng)WebAppProxy Server（resourcemanager）

/opt/hadoop-2.4.0/sbin/yarn-daemon.sh?start?proxyserver?--config?/opt/hadoop-2.4.0/etc/hadoop

• 啟動(dòng)MapReduce JobHistory Server（resourcemanager）?

/opt/hadoop-2.4.0/sbin/mr-jobhistory-daemon.sh?start?historyserver?--config?/opt/hadoop-2.4.0/etc/hadoop

注意：上面括號(hào)中的內(nèi)容表示在哪個(gè)服務(wù)器上執(zhí)行命令。啟動(dòng)前需要所有服務(wù)器的防火墻關(guān)閉，執(zhí)行

service?iptables?stop

也可以想一次性啟動(dòng)，直接在master上啟動(dòng)hdfs，在resourcemanager上啟動(dòng)yarn資源管理系統(tǒng)

• 啟動(dòng)hdfs（master）

/opt/hadoop-2.4.0/sbin/start-dfs.sh

• 啟動(dòng)yarn（resourcemanager）

/opt/hadoop-2.4.0/sbin/start-yarn.sh

若一切順利，在各服務(wù)器上輸入jps

master顯示：

30739?Jps 9547?NameNode 9746?SecondaryNameNode

resourcemanager顯示：

2917?Jps 27910?ResourceManager

各個(gè)datanode顯示：

24334?Jps 1594?NodeManager 1027?DataNode

至此，一個(gè)完全分布式hadoop集群搭建成功

關(guān)閉hadoop按照上面啟動(dòng)的順序呢，把start改成stop即可。

轉(zhuǎn)載于:https://my.oschina.net/voyage1314/blog/262392

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的hadoop-2.4.0完全分布式集群搭建的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。