第一步：安裝JDK，點(diǎn)擊一下鏈接下載JDK，并安裝。

http://www.oracle.com/technetwork/java/javase/downloads/index.html

在安裝過程中，第一小步安裝jdk，第二小步是安裝jre。建議兩個(gè)都安裝在同一個(gè)java文件夾中的不同文件夾中。（不能都安裝在java文件夾的根目錄下，jdk和jre安裝在同一文件夾會(huì)出錯(cuò)）

第二步：配置環(huán)境變量，找到 計(jì)算機(jī)→屬性→高級(jí)系統(tǒng)設(shè)置→高級(jí)→環(huán)境變量

系統(tǒng)變量→新建 JAVA_HOME 變量 。

變量值填寫jdk的安裝目錄（本人是 C:\PROGRA~1\Java\jdk1.8.0_171)

系統(tǒng)變量→尋找 Path 變量→編輯
在變量值最后輸入 %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

（注意原來Path的變量值末尾有沒有;號(hào)，如果沒有，先輸入；號(hào)再輸入上面的代碼）

系統(tǒng)變量→新建 CLASSPATH 變量
變量值填寫 ? .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar（注意最前面有一點(diǎn)）
系統(tǒng)變量配置完畢

檢驗(yàn)是否配置成功 運(yùn)行cmd 輸入 java -version （java 和 -version 之間有空格）

若如圖所示 顯示版本信息 則說明安裝和配置成功。

注意，在這個(gè)地方有一個(gè)Java的環(huán)境變量配置中不能出現(xiàn)空格，否則hadoop配置不會(huì)成功，跑不起來。我這里JDK安裝的目錄就有空格，如下圖，本來是C盤program files下Java文件夾，在JAVA_HOME配置那個(gè)地方直接用PROGRA~1代替program files

第三步：下載hadoop并安裝

hadoop安裝步驟可以參考https://blog.csdn.net/xrui_java7/article/details/70231221

或者h(yuǎn)ttps://www.cnblogs.com/wuxun1997/p/6847950.html?這兩篇就OK啦，很簡單的。

需要注意的是 在hadoop-3.0.3\etc\hadoop配置hadoop文件的hdfs-site.xml 文件時(shí)注意要根據(jù)自己的hadoop安裝路徑做相應(yīng)的調(diào)整，改成自己的安裝路徑

其他就沒什么了，配好之后cmd打開控制臺(tái)，運(yùn)行

hadoop namenode -format

可以看到如下圖的效果就配好了。

接著使用? start-all.cmd 命令啟動(dòng)服務(wù)

啟動(dòng)這四個(gè)服務(wù)：

Hadoop Namenode

Hadoop datanode

YARN Resourc Manager

YARN Node Manager?

如果有服務(wù)沒啟動(dòng)起來，看下報(bào)啥錯(cuò)。這里我本來也沒啟動(dòng)起來，打開Hadoop/etc/hadoop 下的hadoop-env.cmd文件 把Java_home值改成jdk安裝的絕對(duì)路徑。

HDFS應(yīng)用

在瀏覽器輸入 http://127.0.0.1:8088/cluster 就能看到集群所有節(jié)點(diǎn)的狀態(tài)

2、訪問http://localhost:9870/即可查看文件管理頁面：

進(jìn)入文件管理頁面：如果這里打不開不對(duì)的話，重新用? hdfs namenode -format命令建一下namenode，然后去D:\hadoop\data\dfs\namenode 里頭(hdfs-site.xml里配的namenode和datanode保存的路徑，自己建下文件夾)看下有沒有東西，如果有東西了就是已經(jīng)成功。這樣才能訪問文件管理頁面。

第四步 安裝Spark

點(diǎn)擊鏈接可下載Spark：http://spark.apache.org/downloads.html，可根據(jù)自己安裝的hadoop版本在箭頭位置選擇自己對(duì)應(yīng)的版本。

下載完之后直接，解壓安裝就可以了，很簡單的。

然后cmd 在DOS下輸入：

spark-shell

醬紫就安裝成功了。

但這個(gè)時(shí)候每次運(yùn)行spark-shell（spark的命令行交互窗口）的時(shí)候，都需要先cd到Spark的安裝目錄下，比較麻煩，因此可以將Spark的bin目錄添加到系統(tǒng)變量PATH中。例如我這里的Spark的bin目錄路徑為D:\spark-2.3.0-bin-hadoop2.7\bin，那么就把這個(gè)路徑名添加到系統(tǒng)變量的PATH中即可，方法和JDK安裝過程中的環(huán)境變量設(shè)置一致，設(shè)置完系統(tǒng)變量后，在任意目錄下的cmd命令行中，直接執(zhí)行spark-shell命令，即可開啟Spark的交互式命令行模式。

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的Windows下hadoop配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。