Kafka作為分布式消息系統以其輕量級、可擴展、高通吐等特點而得到廣泛應用，最近在項目中用Kafka作為中間件進行數據交互。為了監控Kafka的運行情況，在網上找了個開源的Kafka監控工具Kafka-manager對Kafka集群監控。為什么選用Kafka-manager而不是KafkaOffsetMonitor、Kafka Web Conslole呢？可以看https://blog.csdn.net/qq_33314107/article/details/81099091中的比較。另外本人自己也下了個KafkaOffsetMonitor試用，真的不是很好用，大家也可以自己試試。

Kafka發送接收消息實例

#Kafka安裝部署

Kafka安裝部署比較簡單，直接從官網下載源碼包解壓后就可以直接使用，本例中共有三個節點安裝Kafka，hostname分別為node1、node2、node4，zookeeper和Kafka端口均為默認端口。

#zookeeper啟動(假設已進入Kafka目錄)

bin/zookeeper-server-start.sh config/zookeeper.properties

#Kafka啟動

bin/Kafka-server-start.sh config/server.properties

#Kafka主題創建(創建名為Kafka_monitor的主題)

bin/Kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node4:2181 --replication-factor 1 --partitions 60 --topic Kafka_monitor

#用python持續寫入json信息到Kafka_monitor主題

from

#用Python創建消費者持續消費Kafka_monitor中的消息

from Kafka import KafkaConsumer import jsonconsumer = KafkaConsumer(group_id= 'group4', bootstrap_servers= ['node1:9092'], value_deserializer=lambda m: json.loads(m.decode('ascii'))) consumer.subscribe(topics= ['Kafka_monitor']) for msg in consumer:print(msg)

Kafka-manager監控

直接從github下載的Kafka-manager工程需要經過sbt編譯打包才能試用，為了省去編譯的麻煩，可以去https://blog.wolfogre.com/posts/Kafka-manager-download/這一頁面中直接下載打包好的Kafka-manager，解壓后就可以開始試用。

在解壓后的conf目錄中打開 application.conf文件，修改其中的配置信息，修改Kafka-manager.zkhosts為自己的主機地址和端口。

#在解壓的目錄中啟動Kafka-manager

bin/Kafka-manager

默認情況下監控打開的默認端口為9000，啟動完成后打開瀏覽器范圍監控頁面如下圖：

點擊Cluster菜單下Add Cluster進行集群信息添加：

這時回到首頁，可以看到剛剛新增的Kafka集群已經顯示到頁面中：

點擊集群名稱[test]，可以進入集群的詳細監控頁面：

點擊頁面頭部的的broker、topic、consumers等條目，可以顯示集群的具體信息。

啟動Kafka中生產者和消費者兩個簡單的腳本，監控頁面中的消費者信息如下如所示。

其他監控類似，再次不再贅述。

Reference

https://blog.csdn.net/luanpeng825485697/article/details/81036028

https://blog.csdn.net/qq_33314107/article/details/81099091

https://blog.csdn.net/yuan_xw/article/details/79188565

https://blog.wolfogre.com/posts/kafka-manager-download/

本篇內容在本人個人公眾號上也已發布，歡迎關注本人微信公眾號“勤菜鳥”。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的kafka 启动_Kafka管理工具Kafka Manager的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。