準(zhǔn)備工作：

1. 準(zhǔn)備3臺(tái)機(jī)器，IP地址分別為：192.168.0.10，192.168.0.11，192.168.0.12

2. 下載kafka穩(wěn)定版本，我的版本為：kafka_2.9.2-0.8.1.1.tgz?

3. 分別解壓放入到想安裝的目錄下，我的目錄為:/home/www 解壓命令為：

tar -xzf kafka_2.9.2-0.8.1.1.tgz

搭建zookeeper集群

? 1. 進(jìn)入解壓后的目錄/home/www/kafka_2.9.2-0.8.1.1

? 2. 進(jìn)入config目錄下，修改zookeeper.properties文件

tickTime=2000 dataDir=/data/zookeeper/ clientPort=2181 initLimit=5 syncLimit=2 server.1=192.168.0.10:2888:3888 server.2=192.168.0.11:2888:3888 server.3=192.168.0.12:2888:3888

在dataDir目錄/data/zookeeper/下寫(xiě)一個(gè)myid文件，命令如下：

echo 1 >myid

注意：這個(gè)id是zookeeper的主機(jī)標(biāo)示，每個(gè)主機(jī)id不同第二臺(tái)是2 第三臺(tái)是3。

逐次啟動(dòng)3臺(tái)機(jī)器的zookeeper 構(gòu)成一個(gè)集群：

> bin/zookeeper-server-start.sh config/zookeeper.properties &

注意：使用& 會(huì)打印出啟動(dòng)日志，但如果使用secure ssh直接退出，有可能會(huì)讓zookeeper退出，建議使用命令檢查一下：

> netstat -apn | grep 2181

我啟動(dòng)的順序是

192.168.0.10 192.168.0.11 192.168.0.12

由于ZooKeeper集群?jiǎn)?dòng)的時(shí)候，每個(gè)結(jié)點(diǎn)都試圖去連接集群中的其它結(jié)點(diǎn)，先啟動(dòng)的肯定連不上后面還沒(méi)啟動(dòng)的，所以打印出來(lái)的部分的異常是可以忽略的。集群在選出一個(gè)Leader后，最后穩(wěn)定了。其他結(jié)點(diǎn)可能也出現(xiàn)類似問(wèn)題，屬于正常。

至此，zookeeper集群搭建完成

?

搭建kafka broker集群

進(jìn)入config目錄，修改server.properties

broker.id=0 port=9092 host.name=192.168.0.10zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181
log.dirs=/home/www/kafka-logs

不同集群broker.id 和host.name 不一樣，根據(jù)實(shí)際情況配置。

修改生產(chǎn)者配置

broker.list=192.168.0.10:9092,192.168.0.11:9092,192.168.0.12:9092producer.type=async

修改消費(fèi)者配置：

zookeeper.connect=192.168.0.10:2181,192.168.0.11:2181,192.168.0.12:2181

啟動(dòng)每臺(tái)服務(wù)器的kafka：

> bin/kafka-server-start.sh config/server.properties &

測(cè)試集群

創(chuàng)建一個(gè)topic

> bin/kafka-topics.sh --create --zookeeper 192.168.0.10:2181 --replication-factor 3 --partitions 1 --topic test-replicated-topic

查看創(chuàng)建的topic

> bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic my-replicated-topic Topic:test-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: test-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0

查看集群情況：

>bin/kafka-topics.sh --describe --zookeeper 192.168.0.11:2181 --topic test-replicated-topic
>bin/kafka-topics.sh --describe --zookeeper 192.168.0.10:2181 --topic test-replicated-topic

發(fā)現(xiàn)都能看到test-replicated-topic。

?

注意：使用一臺(tái)機(jī)器，創(chuàng)建3個(gè)zookeeper不同端口，3個(gè)kafka 不同端口沒(méi)有成功，和zookeeper集群的端口有關(guān)吧，以后會(huì)研究一下。

參考資料：

http://kafka.apache.org/documentation.html#quickstart

http://www.jonzobrist.com/2012/04/17/install-apache-kafka-and-zookeeper-on-ubuntu-10-04/

http://www.open-open.com/lib/view/open1387889827593.html

完結(jié)。

?

轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/p/4238536.html

總結(jié)

以上是生活随笔為你收集整理的kafka 集群--3个broker 3个zookeeper创建实战的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。