hadoop集群規劃

HDFS中有NN和DN
YARN中有RM和NM
假設有三臺機器：

hadoop000 192.168.199.234 部署：NN DN RM NM hadoop001 192.168.199.235 部署：DN NM hadoop002 192.168.199.236 部署：DN NM

首先在每臺機器中修改/etc/hostname對應的hadoop000 hadoop001 hadoop002

修改hostname與ip的對應關系。修改/etc/hosts

192.168.199.234 hadoop000 192.168.199.235 hadoop001 192.168.199.236 hadoop002 192.168.199.236 localhost

每臺機器安裝ssh，并且設置免密碼登錄
在hadoop00中進行操作：

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

每個節點上安裝jdk

安裝hadoop
配置hadoop-env.sh中的java_home。
配置core-site.xml，內容如下：

<property><name>fs.default.name</name><value>hdfs://hadoop000:9000</value> </property>

配置hdfs-site.xml，內容如下：

<property><name>hadoop.tmp.dir</name><value>/home/hadoop/app/tmp/hadoop-tmp</value> </property> <property><name>dfs.namenode.name.dir</name><value>/home/hadoop/app/tmp/dfs/name</value> </property> <property><name>dfs.datanode.data.dir</name><value>/home/hadoop/app/tmp/dfs/data</value> </property>

配置yarn-site.xml，內容如下：

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property><property><name>yarn.resourcemanager.hostname</name><value>hadoop000</value> </property>

配置mapred-site.xml，內容如下：

<property><name>mapreduce.framework.name</name><value>yarn</value> </property>

在slaves文件中，修改內容如下：

hadoop000 hadoop001 hadoop002

分發hadoop目錄到其他機器

NN格式化：hadoop namenode -format

啟動HDFS

啟動YARN

總結

以上是生活随笔為你收集整理的Hadoop集群规划的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。