Hadoop环境搭建
目錄
零、碼仙勵志
一、百度云下載需要的軟件
?二、安裝VM
三、VM網絡設置
四、安裝CentOS7
五、master網絡配置
六、從master克隆slave0和slave1
七、slave0和slave1網絡配置
八、同步時間
九、Xshell5的安裝與使用
1.Xshell5的作用
2.Xshell5的安裝
3.Xshell5的使用?
十、Xftp5的安裝與使用
1.Xftp5的作用
2.Xftp5的安裝
3.Xftp5的使用
十一、關閉防火墻
十二、設置主機名
十三、hosts設置
十四、免密鑰登陸配置
十五、安裝JDK
十六、Hadoop安裝與環境配置
1.配置hadoop-env.sh
2.配置core-site.xml
3.配置hdfs-site.xml
4.配置yarn-site.xml
5.配置mapred-site.xml
6.配置slaves
7.配置Hadoop環境變量
8.新建Hadoop運行時產生文件的儲存目錄
9.給slave0和slave1復制Hadoop
10.格式化文件系統
11.啟動Hadoop
12.關閉Hadoop
零、碼仙勵志
如果決意去做一件事，就不要問自己和別人值不值得，心甘情愿才能理所當然，理所當然才能義無反顧
一、百度云下載需要的軟件
微信搜索公眾號碼海無際或掃描左側二維碼回復c001獲取，
如果不會請給我留言或者加QQ194760901找我索要
下載好以后里面有如下軟件
?二、安裝VM
直接雙擊就可以
安裝位置你開心就好，我這里是默認的
?
?
到這里VM就安裝完成了
三、VM網絡設置
首先打開控制面板
雙擊下面我選中的內容
給我選中的內容打勾并且雙擊
然后按照我下面的配置來操作
接下來打開VM虛擬機
按照我標的序號來
到這里VM網絡就設置好了
四、安裝CentOS7
把虛擬機名稱改為master，安裝位置你開心就好
按照我的配置來，把多余的移除了，這樣可以保證虛擬機運行的速度
然后等待就好了，時間有點長
不要動，繼續等待
設置為中文，你要是會其他語言當我沒說
你可以從這里選擇安裝圖形用戶界面，我沒選
這倆個都需要設置，設置完一定要記住
設置好就等待吧，時間有點長，不對，是超級長
然后重啟
輸入用戶名和密碼登陸
出來這個就成功了
五、master網絡配置
登陸成功直接輸入下面命令然后回車會出現下面內容
vi /etc/sysconfig/network-scripts/ifcfg-ens33然后把里面的內容修改成下面的內容
按鍵盤i可以修改，修改好以后先按鍵盤Esc鍵，然后使用組合鍵Shift+:? 最后輸入wq然后回車就修改好了
如果看不清上面的看下面的
然后輸入下面的內容重啟網路
service network restart出現上面的內容說明重啟成功
然后ping一下自己的ip
ping 192.168.56.110出現下面內容就說明成功了
這時你會發現虛擬機就跟喝了脈動似的，根本停不下來，其實按Ctrl+c就可以停下來了
然后輸入shutdown? now關機為下一步做準備
六、從master克隆slave0和slave1
把虛擬機名稱修改為slave0，位置你開心就好
這樣slave0就復制好了，接下來用同樣的方法復制slave1，這里我就不在演示了
七、slave0和slave1網絡配置
首先打開slave0，然后登陸，密碼和master一樣
登陸成功直接輸入下面命令然后回車會出現下面內容
vi /etc/sysconfig/network-scripts/ifcfg-ens33然后把紅色標記的地方修改成192.168.56.111，其余地方不修改
這樣slave0就配置好了，用同樣的方法配置slave1，把紅色標記的地方修改成192.168.56.112
八、同步時間
首先先把三臺虛擬機關機
這樣一臺的就設置好了，另外倆臺類似，我這里就不再演示
九、Xshell5的安裝與使用
1.Xshell5的作用
可以同時連接多臺服務器，將多臺服務器連接在一臺機器上操作，這樣就不用在每臺服務器上進行操作，方便遠程操作服務器；主要是對服務器進行命令操作
2.Xshell5的安裝
直接雙擊
安裝位置你開心就好
到這里就安裝成功了
3.Xshell5的使用
名稱隨意，不過最好有意義；主機輸入端口號
注意：鏈接之前記得把虛擬機開機
鏈接時需要輸入用戶名和密碼，出現下面的內容就成功了
另外倆臺操作一樣，我這里不在演示
十、Xftp5的安裝與使用
1.Xftp5的作用
可以同時連接多臺服務器，將多臺服務器連接在一臺機器上操作，這樣就不用在每臺服務器上進行操作，方便遠程操作服務器；主要是對服務器進行文件傳輸操作
2.Xftp5的安裝
直接雙擊
安裝位置你開心就好
到這里就安裝成功了
3.Xftp5的使用
配置完下面的不要點確定，點選項
出現下面內容就說明成功了
另外倆臺操作類似，我這里就不演示了
十一、關閉防火墻
首先打開并登陸master服務器
先查看防火墻狀態
systemctl status firewalld.service?我標記的內容說明防火墻此時是開啟狀態
關閉防火墻
systemctl stop firewalld.service該命令輸入和執行后，終端不會有輸出，要檢查是否執行成功，可以再查看一次防火墻狀態
出現我標記的內容說明關閉防火墻成功了
但是重啟服務器時防火墻還會啟動，所以還需要輸入下面命令，防止重啟服務器防火墻啟動
systemctl disable firewalld.service這樣master的防火墻就關閉成功了，另外倆臺也一樣，我這里不做演示
十二、設置主機名
先在master服務器上操作’，輸入下面命令
vi /etc/sysconfig/network修改成下面的內容
如果看不清上面請看下面
記得要把原來的內容刪除掉?
?
然后重新啟動該主機，就會發現主機名被修改了
十三、hosts設置
?
十四、免密鑰登陸配置
首先在master服務器輸入下面命令
ssh-keygen -t rsa然后按四次回車，出現下面內容
然后輸入下面命令進入ssh文件夾
cd ~/.ssh輸入下面命令可以看文件夾里面的內容
ls -l然后輸入下面命令把公鑰文件發送到自己和其它服務器
發送給自己
ssh-copy-id -i id_rsa.pub root@master輸入yes?
輸入密碼
成功后出現下面內容
然后再分別發送給slave0和slave1
驗證是否成功
在master服務器輸入下面的命令，都不需要輸入密碼，就說明成功了,注意每執行完一條命令都用exit退出一下再執行下一條
ssh master ssh slave0 ssh slave1十五、安裝JDK
首先在master服務器的usr/local目錄下新建一個java文件夾，用下面命令就可以完成
mkdir /usr/local/java然后用Xftp連接master服務器，打開usr/local/java這個目錄，把jdk-8u162-linux-x64.tar復制進去
接著用下面的命令進入到該目錄
cd /usr/local/java接著用下面的命令進行解壓
tar -zxvf jdk-8u162-linux-x64.tar.gz然后就解壓好了
接下來開始配置環境變量，先用cd命令回到總目錄
輸入下面命令開始配置
vi /root/.bash_profile按照我的配置來
看不清上面看下面
然后保存退出輸入下面內容使環境變量生效
source /root/.bash_profile然后輸入java、javac和java -version驗證，如果都出現一大堆代碼說明配置成功了，如果其中有一個或多個出現不是內部或外部命令，也不是可運行的程序或批處理文件等類似語句，就說明配置失敗了，需要重新配置jdk環境
這樣就安裝好master服務器的jdk了，但是還沒有安裝好slave0和slave1的jdk,我們可以用下面命令把master中的jdk復制到slave0上面
scp -r /usr/local/java root@slave0:/usr/local這時已經把jdk復制到slave0了，但是slave0的環境變量還沒有配置，我們同樣可以使用下面命令來復制環境變量
scp -r /root/.bash_profile root@slave0:/root然后在slave0中輸入下面內容使環境變量生效
source /root/.bash_profile這樣?slave0中的jdk就安裝成功了，slave1，與slave0類似，這里不做演示
十六、Hadoop安裝與環境配置
先用下面的命令給opt文件夾中新建一個hapoop文件夾
mkdir /opt/hadoop然后把hadoop-2.7.5復制到hadoop文件夾中
使用下面命令進入到hadoop文件夾
cd /opt/hadoop使用下面命令把hadoop-2.7.5進行解壓
tar -zxvf hadoop-2.7.5.tar.gz使用下面命令把hadoop-2.7.5文件夾重命名成hadoop
mv hadoop-2.7.5 hadoop1.配置hadoop-env.sh
該文件設置的是Hadoop運行時需要的環境變量。JAVA_HOME是必須設置的，即使我們當前的系統設置了JAVA_HOME，它也是不認識的，因為Hadoop即使是在本機上執行，它也是把當前執行的環境當成遠程服務器。所以這里設置的目的是確保Hadoop能正確的找到jdk。
先用cd回到主目錄
然后輸入下面命令進入該文件所在的文件夾
cd /opt/hadoop/hadoop/etc/hadoop用ls就可以看到該文件
然后輸入下面命令打開該文件
vi hadoop-env.sh然后修改成下面的內容
export JAVA_HOME=/usr/local/java/jdk1.8.0_162/2.配置core-site.xml
core-site.xm所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可
vi core-site.xml接著把下面命令寫入<configuration></configuration>中，注釋不用寫
<!-- 指定Hadoop所使用的文件系統schema(URL),HDFS的老大(NameNode)的地址 --> <property><name>fs.defaultFS</name><value>hdfs://master:9000</value> </property> <!-- 指定Hadoop運行時產生文件的儲存目錄，默認是/tmp/hadoop-${user.name} --> <property><name>hadoop.tmp.dir</name><value>/opt/hadoop/hadoopdata</value> </property>3.配置hdfs-site.xml
hdfs-site.xml所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可
vi hdfs-site.xml接著把下面命令寫入<configuration></configuration>中，注釋不用寫
<!-- 指定HDFS副本的數量 --> <property><name>dfs.replication</name><value>1</value> </property>4.配置yarn-site.xml
yarn-site.xml所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可
vi yarn-site.xml接著把下面命令寫入<configuration></configuration>中，里面自帶的注釋不用刪除
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property><name>yarn.resourcemanager.address</name><value>master:18040</value> </property> <property><name>yarn.resourcemanager.scheduler.address</name><value>master:18030</value> </property> <property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:18025</value> </property> <property><name>yarn.resourcemanager.admin.address</name><value>master:18141</value> </property> <property><name>yarn.resourcemanager.webapp.address</name><value>master:18088</value> </property>5.配置mapred-site.xml
還是在/opt/hadoop/hadoop/etc/hadoop目錄下(也就是上個文件所在的目錄)，有一個叫?mapred-site.xml.template的文件，把它復制到/opt/hadoop/hadoop/etc/hadoop目錄下(也就是mapred-queues.xml.template文件所在的目錄)重命名為mapred-site.xml，命令如下
mv mapred-site.xml.template mapred-site.xml然后用下面命令打開該文件
vi mapred-site.xml接著把下面命令寫入<configuration></configuration>中，注釋不用寫
<!-- 指定mr運行時框架，這里指定在yarn上，默認是local --> <property><name>mapreduce.framework.name</name><value>yarn</value> </property>6.配置slaves
slaves所在的目錄和上面的目錄一樣，所以直接使用下面命令打開該文件即可
vi slaves先把localhost這行刪除，然后把下面代碼寫進去
master slave0 slave17.配置Hadoop環境變量
先用cd命令回到總目錄
輸入下面命令開始配置
vi /root/.bash_profile把下面命令輸入進去
export HADOOP_HOME=/opt/hadoop/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH然后保存退出輸入下面內容使環境變量生效
source /root/.bash_profile8.新建Hadoop運行時產生文件的儲存目錄
先用cd命令回到總目錄
接著用下面命令新建目錄
mkdir /opt/hadoop/hadoopdata9.給slave0和slave1復制Hadoop
用下面命令就可以把master的Hadoop復制到slave0上
scp -r /opt/hadoop root@slave0:/opt用下面命令把master的Hadoop復制到slave1上
scp -r /opt/hadoop root@slave1:/opt接著用下面命令把master的環境變量復制到slave0上
scp -r /root/.bash_profile root@slave0:/root然后在slave0中輸入下面內容使環境變量生效
source /root/.bash_profileslave1與slave0類似，這里不做演示
10.格式化文件系統
在master中輸入下面命令格式化文件系統，其余倆臺服務器不用，注意該命令只能使用一次
hadoop namenode -format11.啟動Hadoop
在master服務器上，先用下面命令進入Hadoop的sbin目錄
cd /opt/hadoop/hadoop/sbin然后輸入下面命令啟動
start-all.sh在三臺服務器分別輸入jps可以判斷是否啟動成功，出現下面內容說明成功
12.關閉Hadoop
只需要在master服務器輸入下面命令即可
stop-all.sh總結
以上是生活随笔為你收集整理的Hadoop环境搭建的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： ARM架构——面试了菊厂，中兴，MTK，
- 下一篇： Android系统下内存使用情况与监测