當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Hadoop配置和启动

發布時間：2023/12/20 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 Hadoop配置和启动小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

Apache的Hadoop是一個開源的、可靠的、可擴展的系統架構，可利用分布式架構來存儲海量數據，以及實現分布式的計算。

Hadoop允許使用簡單的編程模型在計算機集群中對大型數據集進行分布式處理。可以從單個服務器擴展到數千臺機器，每個機器都提供本地計算和存儲，而不是依靠硬件來提供高可用性。此外，Hadoop集群的高可用性也非常良好，因為框架內的機制是可以夠自動檢測和處理故障。

Hadoop的兩個作用：

①存儲海量數據

②計算海量數據

Hadoop配置及啟動的準備工作:

啟動一臺虛擬機
通過遠程工具登錄操作虛擬機
切換到/home/software目錄下,將hadoop2.7.1安裝包上傳到此目錄下
將jdk安裝包上傳到/home/software目錄下

Hadoop的配置和啟動步驟(單一節點)

1.關閉防火墻

?#關閉防火墻命令systemctl stop firewalld.service?#開機防火墻不啟動systemctl disable firewalld.service

2.修改主機名

?#修改主機名vim /etc/hostname?#文件里面只寫hadoop01

3.配置ip與主機名的映射

?#修改映射的命令vim /etc/hosts??#文件里面顯示的內容(ip寫自己本機的ip)#127.0.0.1 localhost#::1 localhost#192.168.64.211 hadoop01

4.配置免密鑰登錄,防止后續每次啟動Hadoop都輸入密碼的麻煩

?#生成密鑰----用默認的配置(直接按回車三次)ssh-keygen?#把生成的密鑰復制到本機ssh-copy-id root@hadoop01

5.安裝和配置jdk

?#1.進入jdk的目錄cd /home/software#2.解壓jdk壓縮包tar -xvf jdk-8u51-linux-x64.tar.gz#3.更改jdk文件名為jdk1.8mv jdk1.8.0_51 jdk1.8#3.1配置jdk的linux環境變量vim /etc/profile?#3.2編輯文件的最后加jdk的環境變量JAVA_HOME=/home/software/jdk1.8CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME PATH CLASSPATH

6.解壓hadoop安裝包,并進行配置

?#進入hadoop的目錄cd /home/software?#解壓hadoop安裝包tar -xvf hadoop-2.7.1_64bit.tar.gz?#解壓成功后,刪除hadoop的安裝包rm -rf hadoop-2.7.1_64.bit.tar.gz?#進入hadoop目錄下cd /home/software/hadoop-2.7.1/etc/hadoop#編輯hadoop-env.sh文件vim hadoop-env.sh?#更改環境變量:export JAVA_HOME=/home/software/jdk1.8export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop?#讓更改后的環境變量生效source hadoop-env.sh

7.編輯core-site.xml

?#進入core-site.xml文件vim core-site.xml????#文件內配置的數據?<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/software/hadoop-2.7.1/tmp</value></property></configuration>?

7.編輯hdfs-site.xml

?#進入hdfs-site.xml文件vim hdfs-site.xml????#文件內配置的數據<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>

8.把文件mapred-site.xml.temlate重命名

?mv mapred-site.xml.template mapred-site.xml

9.編輯mapred-site.xml

?#進入mapred-site.xml文件vim mapred-site.xml?#文件內配置的數據<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

10.編輯yarn-site.xml文件

?#進入yarn-site.xml文件vim yarn-site.xml????#文件內配置的數據<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

11.編輯slaves文件

?#進入slaves文件vim slaves??#文件內配置的數據(指定hadoop的從屬節點服務器)hadoop01

12.配置hadoop的環境變量

?#進入hadoop環境變量的配置文件vim /etc/profile?????#文件的最后配置的數據(hadoop的環境變量與jdk的環境變量合并了,注意)#java envHADOOP_HOME=/home/software/hadoop-2.7.1JAVA_HOME=/home/software/jdk1.8CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexport JAVA_HOME PATH CLASSPATH HADOOP_HOME?

13.讓更改的環境變量配置生效

?source /etc/profile

14.初始化namenode(第一次啟動hadoop需要初始化namenode)

?hadoop namenode -format

15.啟動hadoop

?#進入hadoop安裝目錄下的sbin目錄cd /home/software/hadoop-2.7.1/sbin?#運行啟動hadoop命令sh start-all.sh??#停止hadoop命令sh stop-all.sh

總結

以上是生活随笔為你收集整理的Hadoop配置和启动的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

Hadoop