?

作為流計(jì)算的開篇，筆者首先給出storm的安裝和部署，storm的第二篇，筆者將詳細(xì)的介紹storm的工作原理。下邊直接上干貨，跟筆者的步伐一塊兒安裝storm。

?原文鏈接：Storm環(huán)境搭建（分布式集群）

Step1：新建用戶

?

在所有主機(jī)上新建hadoop用戶，密碼是Hadoop123

useradd hadoop

passwd hadoop

輸入密碼Hadoop123

?

Step2：設(shè)置免密登錄

?

設(shè)置所有主機(jī)之間ssh免密碼登錄。設(shè)置主節(jié)點(diǎn)到從節(jié)點(diǎn)的免密碼登錄即可。

?

Step3：軟件包下載

?

（1）mkdir? -p? /mnt/data/software

（2）將所需要的軟件包放在/mnt/data/software目錄下

如需要以下三個(gè)安裝包，請(qǐng)長(zhǎng)按文末二維碼關(guān)注“大數(shù)據(jù)技術(shù)宅”，后臺(tái)輸入“storm安裝包”獲取。

?

jdk-8u121-linux-i586.tar.gz

apache-storm-1.0.5.tar.gz

zookeeper-3.4.10.tar.gz

Step4：安裝JDK

?

（1）卸載openjdk

rpm -qa | grep jdk

rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64

rpm -e --nodepscopy-jdk-configs-1.2-1.el7.noarch

rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64

?（2）安裝jdk1.8

?

cd ?/mnt/data/software

tar ?-zxvf jdk-8u121-linux-i586.tar.gz

?

配置java環(huán)境變量

?

vim /etc/profile

在文件中寫入以下內(nèi)容

JAVA_HOME=/mnt/data/software/jdk1.8.0_121

JRE_HOME=/mnt/data/software/jdk1.8.0_121/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

使環(huán)境變量生效：source/etc/profile

Step5：安裝zookeeper

?

（1）關(guān)閉三臺(tái)機(jī)器上的防火墻（CentOS 7）

firewall-cmd --state ? ?查看防火墻狀態(tài)

systemctl stop firewalld.service 關(guān)閉防火墻

systemctl disable firewalld.service ? ?禁止開機(jī)啟動(dòng)

?

（2）安裝

cd ?/mnt/data/software

tar -zxvf zookeeper-3.4.10.tar.gz

mv zookeeper-3.4.10

cd zookeeper/conf

將conf目錄中的zoo_sample.cfg文件復(fù)制為zoo.cfg并利用vi命令進(jìn)行修改

dataDir=/mnt/data/software/zookeeper/data

server.1=ip:2888:3888 ?ip為服務(wù)器的ip

server.2=ip:2888:3888 ?ip為服務(wù)器的ip

server.3=ip:2888:3888 ?ip為服務(wù)器的ip

這里的dataDir需要自己創(chuàng)建?mkdir命令創(chuàng)建，并在目錄下創(chuàng)建一個(gè)文件：myid分別在myid上按照配置文件的server.<id>中id的數(shù)值，在不同機(jī)器上的該文件中填寫相應(yīng)過的值1|2|3

如[root@safe01data]# vim myid

1

保存即可

（3）添加zookeeper環(huán)境變量

vim /etc/profile

ZOOKEEPER_HOME=/mnt/data/software/zookeeper

PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

export JAVA_HOME CLASSPATH ZOOKEEPER_HOME PATH

引用環(huán)境變量：source/etc/profile

（4）測(cè)試安裝

三臺(tái)機(jī)器執(zhí)行zkServer.shstart進(jìn)行啟動(dòng)zookeeper

查看狀態(tài)zkServer.shstatus

[root@safe01 data]# zkServer.sh status

JMX enabled by default

Using config: /mnt/data/software/zookeeper/bin/../conf/zoo.cfg

Mode: follower

兩個(gè)follower一個(gè)leader就是正確的?

?

Step6：安裝Storm

?

（1）安裝

cd /mnt/data/software

tar -zxvf apache-storm-1.0.5.tar.gz

mv apache-storm-1.0.5 storm

cd ./storm/conf

編輯storm.yaml

storm.zookeeper.servers:

? ?- "172.16.2.27"

? ?- "172.16.2.42"

? ?- "172.16.2.72"

#nimbus

nimbus.host: "172.16.2.27"

ui.port: 8081

supervisor.slots.ports:

? ?-6700

? ?-6701

? ?-6702

? ?-6703

storm.local.dir:"/mnt/data/software/storm/data"

?

創(chuàng)建數(shù)據(jù)文件目錄：mkdir /mnt/data/software/storm/data

?

將storm分發(fā)到其他主機(jī)上：

scp -r ?/mnt/data/software/storm/ ? hadoop@172.16.2.42:/mnt/data/software

scp -r ?/mnt/data/software/storm/ ? hadoop@172.16.2.72:/mnt/data/software

?

在所有主機(jī)上添加storm的環(huán)境變量：

STORM_HOME=/mnt/data/software/storm

PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$KAFKA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH ZOOKEEPER_HOME STORM_HOME KAFKA_HOME PATH

?

（2）啟動(dòng)

在主機(jī)centos上開啟nimbus進(jìn)程

storm nimbus &

在另外兩臺(tái)機(jī)子上開啟supervisor 進(jìn)程

storm supervisor &

開啟完按Ctrl+c

?

在centos主機(jī)上開啟

storm ui &
storm logviewer &

?

這樣就可以通過web查看storm部署情況了

?

訪問http://172.16.2.27:8080/，如圖：

?

?

?

?

下篇。。。

?

?

?

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/followees/p/8998551.html

總結(jié)

以上是生活随笔為你收集整理的Storm环境搭建（分布式集群）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。