Hadoop的三種運行模式

• 單機模式（Standalone,獨立或本地模式）:安裝簡單,運行時只啟動單個進程,僅調試用途；
• 偽分布模式（Pseudo-Distributed）:在單節點上同時啟動namenode、datanode、secondarynamenode、resourcemanager 、nodemanager等5個進程,模擬分布式運行的各個節點 ；
• 完全分布式模式（Fully-Distributed） :正常的Hadoop集群,由多個各司其職的節點構成

Hadoop安裝步驟

配置主機名、網絡、編輯hosts文件,重啟；

配置免密碼登陸，連接其他機器;

Hadoop安裝（下載解壓到預定目錄下）
tar -xzvf hadoop-2.7.7.tar.gz -C 目標文件夾/hadoop- 2.7.2/

編輯文件（Hadoop解壓目錄下etc/hadoop/文件夾）

• 編輯該目錄下hadoop-env.sh、yarn-env.sh文件 ；
• 編輯該目錄下core-site.xml、hdfs-site.xml和mapred- site.xml、yarn-site.xml四個核心配置文件 ；

編輯masters、slaves（或者workers）文件；

復制hadoop文件夾到其他節點；

格式化HDFS ；

啟動Hadoop

預備步驟-集群時鐘同步

• 自動定時同步（設置系統定時任務）

1. crontab -e （vi操作，i插入，ESC，:wq） 2. 0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

• 手動同步

/usr/sbin/ntpdate cn.pool.ntp.or

Step0：安裝jdk

上傳jdk-7u71-linux-x64(壓縮文件)到/usr/java；
不建議使用高版本JDK,查看Hadoop兼容的JDK版本;

解壓文件（root用戶操作）；

cd /usr/javatar –xzvf /usr/java/jdk-7u71-linux-x64.gz

修改個人用戶配置文件，vim ~/.bash_profile，在文件尾部添加（i進入編輯）

export JAVA_HOME=/usr/java/jdk1.7.0_71export PATH= $JAVA_HOME/bin: $ PATH

保存退出（ESC 退出編輯，:wq 存盤退出）

使(用戶)配置生效，source ~/.bash_profile

測試，java –version

Step1：網絡設置

• 橋接模式:VMnet0
• 主機模式:VMnet1
• NAT模式:VMnet8

關閉防火墻 (root用戶)

chkconfig iptables off (6.x指令) systemctl disable firewalld (7.x指令）

修改/etc/sysconfig/network-scripts/相應的網絡配置

修改機器名（root用戶）

#hostnamectl set-hostname <機器名> (7.x指令） #hostname <機器名> (6.x指令) #vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop0 #主機名

保存退出，重啟終端，測試hostname

修改/etc/hosts （root用戶）
5.重啟網絡服務

systemctl restart network.service service network restart (6.x)

Step2:ssh免密碼登錄

Hadoop運行過程中需要管理遠端Hadoop守護進
程，啟動后，NameNode是通過SSH（Secure
Shell）來無密碼登錄啟動和停止各個DataNode上
的各種守護進程的。同理，DataNode上也能使用
SSH無密碼登錄到NameNode。

• 一般情況下，只需要從master單向SSH到slave

在各機器上執行（在免密碼登陸的用戶下）ssh-keygen -b 1024 -t rsa 一路回車

在~/.ssh/下生成文件 id_rsa 、id_rsa.pub

生成密碼后輸入命令 ssh-copy-id hadoop

Step3:Hadoop安裝

上傳hadoop文件到節點/home/zkpk/hadoop目錄

解壓文件

– cd /home/zkpk/ – tar -zxvf hadoop-2.7.7.tar.gz

修改(Linux下)/etc/profile—（系統級環境設置,可選）

– vi /etc/profile #在文件最后添加以下語句 – export JAVA_HOME=/usr/java – export HADOOP_HOME=/home/zkpk/hadoop – export PATH=$JAVA_HOME/bin:$PATH::$HADOOP_HOME/bin – 保存退出 – source /etc/profile //切記修改后，使之立即生效 – 如果指定了用戶級的環境變量(.bash_profile),可不編輯；

Step4:修改配置文件

hadoop安裝目錄下的配置文件路徑，即$HADOOP_HOME/etc/hadoop

修改hadoop-env.sh、yarn-env.sh

• export JAVA_HOME=/usr/java/jdk1.7.0_71/
• 保存退出

配置core-site.xml，增加以下內容

• master機器名的9000端口
• 集群數據目錄

– <property> – <name>fs.default.name</name> – <value>hdfs://hadoop0:9000</value> – </property> – <property> – <name>hadoop.tmp.dir</name> – <value>/home/zkpk/hadoopdata</value> – </property>

配置hdfs-site.xml

• 保存副本數量

– <property> – <name>dfs.replication</name> – <value>2</value> – </property>

配置mapred-site.xml

• 使用YARN進行資源調度和任務管理

– <property> – <name> mapreduce.framework.name </name> – <value>yarn</value> – </property>

配置yarn-site.xml

– <property> – <name>yarn.resourcemanager.hostname</name> – <value>hadoop0</value> – </property> – <property> – <name> yarn.nodemanager.aux-services</name> – <value>mapreduce_shuffle</value> – </propert>

Step5:編輯masters、slaves（或者workers）文件

配置masters

• 管理NN機器名稱

Hadoop0

配置slaves（workers）,可以包含master

• 數據節點DN的機器名稱

hadoop1 hadoop2 hadoop3

• 說明：一行一個主機名

Step6:復制hadoop文件夾到其他節點

把hadoop0的hadoop目錄、jdk目錄、/etc/hosts、/etc/profile復制到hadoop1，hadoop2、hadoop3節點

復制master機器的hadoop安裝目錄到slave機器的用戶目錄（slave的 /home/zkpk/hadoop-2.7.7）

#cd $HADOOP_HOME/.. scp -r hadoop-2.7.7 hadoop1:~/ scp -r hadoop-2.7.7 hadoop2:~/ scp -r hadoop-2.7.7 hadoop3:

Step7:格式化HDFS

第一次啟動Hadoop前,必須先格式化namenode

cd $HADOOP_HOME /bin hdfs namenode –format

Step8:啟動Hadoop

cd $HADOOP_HOME/sbin ./start-all.sh //啟動所有 # 可分兩步啟動： start-dfs.sh 、start-yarn.sh # 第一步啟動文件系統，start-dfs.sh # 出錯時，查看logs,檢查相關配置文件：hdfs-site.xml,core-site.xml # 第二步啟動yarn計算框架，start-yarn.sh # 出錯時，查看logs,檢查相關配置文件：yarn-site.xml,mapred-site.xml 停止Hadoop ~/hadoop-2.5.2/sbin/stop-all.sh 或者分兩步停止hadoop集群 可分兩步停止： start-yarn.sh、start-dfs.sh # 第一步停止yarn, stop-yarn.sh # 第二步停止文件系統，stop-dfs.sh 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Hadoop安装及配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。