Hadoop的学习前奏(二)——Hadoop集群的配置
前言:
? Hadoop集群的配置即完全分布式Hadoop配置。
筆者的環境:
? Linux: ?CentOS 6.6(Final) x64
? JDK: ? ?java version "1.7.0_75"
? ? ? ? ? OpenJDK Runtime Environment (rhel-2.5.4.0.el6_6-x86_64 u75-b13)
? ? ? ? ? OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
? SSH: ? ?OpenSSH_5.3p1, OpenSSL 1.0.1e-fips 11 Feb 2013
? Hadoop: hadoop-1.2.1
步驟:
注:本文的實驗是基于偽分布式Hadoop環境的。這里默認你的系統已經可以安裝偽分布式的Hadoop了。如果你的系統還不能安裝偽分布式Hadoop,請參考《Hadoop的學習前奏——在Linux上安裝與配置Hadoop》一文完成配置。
1.首先在三臺主機上創建相同的用戶
2.在三臺主機上分別設置/etc/hosts和/etc/hostname
? $?vim /etc/hosts
??
? $ vim?/etc/hostname
??
3.在這三臺主機上安裝OpenSSH,并配置SSH可以免密碼登錄。
? 關于在單機上進行免密碼登錄的部分,我在上一篇博客中有詳細說明。如果你的配置出了問題以致無法免密碼登錄,上一篇博客中有具體的做法,這里不再贅述。
? 將master中的authorized_keys復制給兩臺slave,做法如下:
? $ scp?authorized_keys slave1:~/.ssh/
? $ scp?authorized_keys slave2:~/.ssh/
4.配置三臺主機的Hadoop文件。
? $ vim?core-site.xml
??
? $ vim?hdfs-site.xml
??
? $ vim?mapred-site.xml
??
? $ vim?masters
??
? $ vim?slaves
??
? 至此,Hadoop的配置已基本完成,你可以通過
5.啟動Hadoop
? bin/hadoop namenode -format
? bin/start-all.sh
6.驗證
? 你可以通過以下命令或是通過訪問http://master:50030和http://master:50070查看集群狀態
? hadoop dfsadmin -report
總結
以上是生活随笔為你收集整理的Hadoop的学习前奏(二)——Hadoop集群的配置的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python的捕虫笔记
- 下一篇: 第一个Hadoop程序——WordCou