CentOS下Storm 1.0.0集群安装详解
本文環境如下:
操作系統:CentOS 6 32位
ZooKeeper版本:3.4.8
Storm版本:1.0.0
JDK版本:1.8.0_77 32位
python版本:2.6.6
集群情況:一個主控節點(Master)和兩個工作節點(Slave1,Slave2)
1. 搭建Zookeeper集群
安裝參考:CentOS下ZooKeeper單機模式、集群模式安裝
2. 在Nimbus和worker機器上安裝依賴包
Java 6
Python 2.6.6
以上的版本是官方說已經有測試可以和Strom正常運行的版本,本文采用Java 8進行安裝。
參考CentOS 6使用rpm方式安裝JDK8。
由于CentOS 6已經自帶Python 2.6.6,這邊就不介紹安裝方法了。可以采用python --version來檢查服務器是否安裝python,以及對應的版本。
3. 下載解壓最新版的Storm
打開官網下載頁面:http://storm.apache.org/downloads.html
選擇適合的版本進行下載。
4. 修改配置文件
打開核心配置文件:storm.yaml
cd /opt/apache-storm-1.0.0/conf vi storm.yaml至少完成以下3處的配置,筆者的配置文件:
storm.zookeeper.servers:- "master" - "slave1" - "slave2" storm.local.dir: "/opt/apache-storm-1.0.0/data"nimbus.seeds: ["master"]其中storm.zookeeper.servers,表示Zookeeper集群地址。如果Zookeeper集群使用的不是默認端口,那么還需要配置storm.zookeeper.port。storm.local.dir用于配置Storm存儲少量文件的路徑。nimbus.seeds用于配置主控節點的地址,可以配置多個。
5. 拷貝文件到其余主控節點和工作節點
scp -r apache-storm-1.0.0 root@slave1:/opt scp -r apache-storm-1.0.0 root@slave2:/opt6. 啟動Storm
Storm集群中包含兩類節點:主控節點(Master Node)和工作節點(Work Node)。其分別對應的角色如下:
主控節點(Master Node)上運行一個被稱為Nimbus的后臺程序,它負責在Storm集群內分發代碼,分配任務給工作機器,并且負責監控集群運行狀態。
每個工作節點(Work Node)上運行一個被稱為Supervisor的后臺程序。Supervisor負責監聽從Nimbus分配給它執行的任務,據此啟動或停止執行任務的工作進程。每一個工作進程執行一個Topology的子集;一個運行中的Topology由分布在不同工作節點上的多個工作進程組成。
6.1 啟動主控節點
/opt/apache-storm-1.0.0/bin/storm nimbus6.2 啟動工作節點
/opt/apache-storm-1.0.0/bin/storm supervisor6.3 啟動管理頁面
在主控節點上運行
/opt/apache-storm-1.0.0/bin/storm ui說明:需要分別到每個節點啟動服務。管理界面將運行在啟動它的服務器的8080端口,日志文件在程序目錄中logs文件夾下。上面的啟動方式是在前臺運行的,如果需要在后臺運行,可以使用類似nohup /opt/apache-storm-1.0.0/bin/storm nimbus &的方式運行。
總結
以上是生活随笔為你收集整理的CentOS下Storm 1.0.0集群安装详解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CentOS下ZooKeeper单机模式
- 下一篇: Leet Code OJ 28. Imp