我已經(jīng)將jdk-8u281-linux-x64.tar.gz和hadoop-3.1.4.tar.gz下載好了，如果需要請自取：
鏈接：https://pan.baidu.com/s/1NSwxte3RnwrGZZ5pSxeK2Q
提取碼：0j9y

本篇博客圍繞b站的這個(gè)視頻來展開：
【https://www.bilibili.com/video/BV1XW411174Y】
視頻已經(jīng)很完善了，本篇博客將整個(gè)流程以及部分指令整理出來。

配置jdk

自己創(chuàng)建一個(gè)文件夾，比如：sudo mkdir /app-hadoop，然后設(shè)置文件夾的權(quán)限：sudo chmod -R 777，將兩個(gè)下載好的壓縮包放到這兩個(gè)文件夾中來，先解壓jdk的文件夾。

配置環(huán)境變量：可以使用兩種編輯方式，第一種是sudo vi /etc/profile，第二種是sudo gedit /etc/profile，打開文件之后在文件的末尾添加jdk的環(huán)境變量，需要添加的內(nèi)容如下：

export JAVA_HOME=/app-hadoop/jdk1.8.0_281 export HADOOP_HOME=/app-hadoop/hadoop-3.1.4 export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

需要注意的是，上面的內(nèi)容需要根據(jù)自己的情況來更改，第一個(gè)JAVA_HOME是你的jdk的解壓路徑，第二個(gè)是hadoop的解壓路徑，第三個(gè)是固定的。如果你還不確認(rèn)你的hadoop將解壓到哪里可以先這樣，可以等到下面hadoop環(huán)節(jié)再去更改。

激活環(huán)境變量：source /etc/profile，然后輸入java -version可以看到版本信息。

安裝hadoop

下載好壓縮包之后，解壓：tar -zxvf hadoop-3.1.4.tar_2.gz，如果你下載的是其他版本的hadoop，就按照你的實(shí)際情況來更改壓縮包名。

配置環(huán)境變量：同樣按照配置jdk的環(huán)境變量一樣，打開文件：sudo vi /etc/profile，因?yàn)樯厦娼榻B配置jdk的時(shí)候已經(jīng)附帶配置了hadoop的環(huán)境變量，如果你解壓的hadoop路徑和上面列出的一樣，直接不用管了，如果不一樣，就將第二行的hadoop路徑改一下即可，第三行和第一行不動。

激活環(huán)境變量：source /etc/profile，然后輸入hadoop -version可以看到版本信息。

配置ssh秘鑰

依次執(zhí)行以下指令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys sudo apt-get install openssh-server ssh localhost

最后一行需要中途輸入yes，這些都輸入完成之后，重啟sudo reboot.

配置hadoop

首先切換到這個(gè)目錄來：
/app-hadoop/hadoop-3.1.4/etc/hadoop
（我是這個(gè)路徑，其中后面的etc/hadoop是固定的，前面兩個(gè)需要根據(jù)你的解壓文件夾來改）。
這個(gè)路徑下有這些文件：

更改core-site.xml文件：打開文件sudo vi core-site.xml，添加如下內(nèi)容：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>

（linux初學(xué)者不要無腦復(fù)制哈，這里我沒有把文件中原有的去掉，接下來的每一個(gè)文件都需要注意，不重復(fù)提醒了）

更改hdfs-site.xml：打開文件sudo vi hdfs-site.xml，添加如下內(nèi)容：

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>

更改hadoop-env.sh：打開文件sudo vi hadoop-env.sh，往下滑動找到JAVA_HOME，將jdk的解壓路徑加進(jìn)來：

啟動hadoop

依次執(zhí)行如下指令：

cd /app-hadoop/hadoop-3.1.4 sudo mkdir logs sudo chmod -R 777 logs cd logs hdfs namenode -format

執(zhí)行完畢然后啟動：
start-all.sh
查看jps:
jps

瀏覽器打開：
localhost:8088
或者：
localhost:9870

hadoop創(chuàng)建文件與上傳文件

每一次打開虛擬機(jī)需要啟動hadoop就輸入start-all.sh，如果不使用了記得關(guān)閉：stop-all.sh。

touch hello.txt 本地創(chuàng)建文件
vim hello.txt 本地編輯文件
hadoop fs -mkdir /test 在根目錄下創(chuàng)建文件夾test，/代表根目錄。
hadoop fs -ls / 查看根目錄下所有的文件和文件夾。
hadoop fs -put hello.txt /test 將本地的hello.txt文件上傳至hdfs的根目錄下的test文件夾中。
hadoop fs -cat /test/hello.txt 查看指定文件的內(nèi)容。

hadoop常用的shell指令

|-lsr |-lsr <路徑> | 遞歸查看指定路徑的目錄結(jié)構(gòu)||-du |-du <路徑> | 統(tǒng)計(jì)目錄下個(gè)文件大小||-dus |-dus <路徑> | 匯總統(tǒng)計(jì)目錄下文件(夾)大小||-count| -count [-q] <路徑> | 統(tǒng)計(jì)文件(夾)數(shù)量||-mv |-mv <源路徑> <目的路徑> | 移動||-cp |-cp <源路徑> <目的路徑> | 復(fù)制||-rm |-rm [-skipTrash] <路徑> | 刪除文件/空白文件夾||-rmr |-rmr [-skipTrash] <路徑> | 遞歸刪除||-put |-put <多個(gè) linux 上的文件> <hdfs 路徑> | 上傳文件||-copyFromLocal| -copyFromLocal <多個(gè) linux 上的文件><hdfs 路徑> | 從本地復(fù)制||-moveFromLocal |-moveFromLocal <多個(gè) linux 上的文件><hdfs 路徑> | 從本地移動||-getmerge |-getmerge <源路徑> <linux 路徑> | 合并到本地||-cat |-cat <hdfs 路徑> | 查看文件內(nèi)容||-text |-text <hdfs 路徑> | 查看文件內(nèi)容||-copyToLocal |-copyToLocal [-ignoreCrc] [-crc] [hdfs 源路徑] [linux 目的路徑] | 從HDFS復(fù)制到本地||-moveToLocal |-moveToLocal [-crc] <hdfs 源路徑> <linux目的路徑> | 從HDFS移動到本地||-mkdir |-mkdir <hdfs 路徑> | 創(chuàng)建空白文件夾||-setrep | -setrep [-R] [-w] <副本數(shù)> <路徑> | 修改副本數(shù)量||-touchz | -touchz <文件路徑> | 創(chuàng)建空白文件|

連接補(bǔ)充：

【找到自己的jdk安裝路徑】

總結(jié)

以上是生活随笔為你收集整理的hadoop开发环境配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。