研究了幾天 Hadoop+Spark 集群部署，雖然現在還是有點不懂（一臉懵B），想寫下自己的總結，日后有新的發現再補充。

我安裝時候的參考教程：

http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/

總結一下，工作分為那么幾個步驟：（對于所有機器）

A:安裝scala（比較簡單）

B:配置hadoop：

1.創建hadoop用戶

2.安裝JAVA環境（主要配置 JAVA_HOME 環境變量）

3.選擇一臺機器作為Master （機器集群的群長），配置Master ssh ，可以ssh免密登錄其他機器

4.解壓hadoop到/usr/local

5.將hadoop文件夾所屬者設置為hadoop

6.修改Hadoop的配置文件 ，在/etc/hadoop/下

7.修改hosts文件 （/etc/hosts），讓大家能通過名字互相溝通

8.啟動hadoop集群

C:配置spark：

1.解壓spark

2.修改spark配置文件(slaves ........)

3.啟動spark

總結

以上是生活随笔為你收集整理的Hadoop+Spark 集群部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。