文章作者：哥不是小蘿莉

內容出處：作者本人

適用人群：大數據

注：歡迎轉載，轉載請注明出處

什么是KAFKA？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

??? Apache Kafka是一個分布式消息系統，它能夠與很多大數據組件無縫銜接，例如：Flink、Spark、HDFS等。同時，應用于各種場景，例如：銀行、電商、游戲、通信等。

設計KAFKA EAGLE的初衷？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

??? Apache Kafka 原生系統里面并不自帶可視化的管理界面，例如Broker狀態、Topic管理、Consumer Groups運行詳情等都需要自己開發Kafka API獲取數據或者利用已有的監控工具來實現。

????但是，隨著Apache Kafka官方更新迭代升級Kafka的版本，已有的Kafka監控工具要么不維護了，要么難以支持新版本的Kafka。

????因此，我們在過去的時間里，從互聯網公司的一些需求出發，從各位DEVS的使用經驗和反饋出發，結合業界的一些大的開源的Kafka監控管理系統，用監控和管理的思維，設計開發了Kafka Eagle監控管理系統。

KAFKA EAGLE能做什么？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

????Kafka Eagle是一個簡單易用、高性能且完全開源的Kafka監控管理系統，它能夠完美兼容Apache Kafka的所有版本。同時，支持多個Kafka集群管理與監控。

????同時，Kafka Eagle提供了完整的官方文檔，以及技術博客解答常見的疑難問題。更有QQ和微信技術交流群，由作者親自支持解決使用者的疑惑。

KAFKA EAGLE有哪些功能？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

????Kafka Eagle監控管理系統，提供了一個可視化界面，使用者可以擁有不同的角色，例如管理員、開發、游客。不同的角色對應不同的使用權限。主要由8個核心部分組成，如下圖所示：

????Kafka Eagle每個核心模塊所負責和展示的功能如下：

數據面板(Dashboard)：負責展示Kafka集群的Broker數、Topic數、Consumer數、以及Topic LogSize Top10和Topic Capacity Top10數據。

主題(Topic)：該模塊包含主題創建、主題管理、主題預覽、KSQL查詢主題、主題數據寫入、主題屬性配置等。

消費者組(Consumers)：該模塊包含監控不同消費者組中的Topic被消費的詳情，例如LogSize、Offsets、以及Lag等。同時，支持查看Lag的歷史趨勢圖。

集群管理(Cluster)：該模塊包含Kafka集群和Zookeeper集群的詳情展示，例如Kafka的IP和端口、版本號、啟動時間、Zookeeper的Leader和Follower。同時，還支持多Kafka集群切換，以及Zookeeper Client數據查看等功能。

指標監控(Metrics)：該模塊包含監控Kafka集群和Zookeeper集群的核心指標，包含Kafka的消息發送趨勢、消息大小接收與發送趨勢、Zookeeper的連接數趨勢等。同時，還支持查看Broker的瞬時指標數據。

告警(Alarm)：該模塊包含告警集群異常和消費者應用Lag異常。同時，支持多種IM告警方式，例如釘釘、微信等。

系統管理(System)：該模塊包含用戶管理，例如創建用戶、用戶授權、資源管理等。

數據大屏(BScreen)：該模塊包含展示消費者和生產者當日及最近7天趨勢、Kafka集群讀寫速度、Kafka集群歷史總記錄等。

KAFKA EAGLE如何使用？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ??Kafka Eagle部署方便，可以從官網下載最新的版本或者下載Github是Release的最新源代碼自行編譯。

?? ?例如，從官網下載Kafka Eagle安裝包，按如下命令操作即可：

解壓安裝包：
tar -zxvf kafka-eagle-${version}-bin.tar.gz

配置JAVA_HOME和KE_HOME：
vi ~/.bash_profile
export JAVA_HOME=/hadoop/jdk8
export KE_HOME=/hadoop/kafka-eagle
export PATH=$PATH:$JAVA_HOME/bin:$KE_HOME/bin

配置system-config.properties文件，設置Zookeeper地址：
vi system-config.properties
kafka.eagle.zk.cluster.alias=cluster1,cluster2 cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181 cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

啟動Kafka Eagle系統，執行如下命令：
ke.sh start

KAFKA EAGLE維護計劃？? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

開發進展：定時在QQ群和微信群公布Kafka Eagle的開發進度。

發版頻率：目前Kafka Eagle的發版頻率為每月發布一個新版本。

未來規劃：Kafka Eagle源代碼托管在Github，完全免費開源。歡迎新同學加入一起維護該項目，同時，會收集issues反饋的問題和新需求，并排期到Kafka Eagle的開發流程中。

福利放送? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

? ? 為了表示對Kafka Eagle的支持，作者贈送Kafka Eagle筆記本作為紀念。喜歡的同學可以，參與抽獎。

總結

以上是生活随笔為你收集整理的kafka可视化工具_Kafka值得一用的监控系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。