学习笔记Kafka(四)—— Kafka安装配置(3)—— Kafka多代理配置及常用操作
一、環境準備
- Centos7, 1 CPU , 2G Memory ,20G Disk , Virtual System
- Hosts : node110, node111 , node112
- 全部配置JDK
- 配置 Zookeeper集群
1.1、Linux環境準備
(有需要可以參考我這篇博客:Hadoop集群部署模式、配置固定IP)
1.2、Zookeeper配置
修改zoo.cfg 配置文件(在zookeeper安裝的conf目錄下)
node110:(node111、node112一樣都要改)
修改myid 配置文件(進入我們建的/opt/apache-zookeeper-3.5.9-bin/zookeeper_data下)
node110結點的值:1
node111結點的值:2
node112結點的值:3
啟動
(分別啟動三個結點上的zookeeper)
啟動成功(三個結點上都有)
然后我們執行./zkServer.sh status,發現最新啟動為leader其他兩個為flower
(如果出現:Error contacting service. It is probably not running.可能就是你防火墻沒關)
驗證是集群
node111(./zkCli.sh -server node110:2181):
node112(./zkCli.sh -server node111:2181):
1.3、Kafka配置
修改server.properties 配置文件
node110:
node111:
node112:
清空data 目錄
(進入kafka安裝目錄下)
(所有結點都要,這里就演示一個)
分別啟動這三個結點的kafka,然后我們可以通過zookeeper 的客戶端查看:
二、Kafka常用操作
2.1、Kafka Topcis
創建Topic (2 partitions & 2 replication-factor)
(2個分區、2個復制因子)
(2 partitions & 3 replication-factor)
(3 partitions & 3 replication-factor)
2.2、Kafka Producer && Consumer
1、Producer生產Topic
./kafka-console-producer.sh --broker-list node100:9092,node101:9092,node102:9092 --topic test_02_022、Consumer讀取Topic
./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 0 --from-beginning ./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --partition 1 --from-beginning ./kafka-console-consumer.sh --bootstrap-server node100:9092 --topic test_02_02 --from-beginning總結
以上是生活随笔為你收集整理的学习笔记Kafka(四)—— Kafka安装配置(3)—— Kafka多代理配置及常用操作的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 学习笔记Kafka(三)—— Kafka
- 下一篇: 学习笔记Kafka(五)—— Kafka