我們知道Kafka支持Consumer Group的功能，但是最近在應(yīng)用Consumer Group時發(fā)現(xiàn)了一個Topic 的Partition不能100%覆蓋的問題。

程序部署后，發(fā)現(xiàn)Kafka在pdb組的consumer消費topic時存在問題，consumer無法完全覆蓋Topic的各個partition。如下圖：

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;"> frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;"> frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

無論我在開啟多少個consumer實例，最高覆蓋只能達(dá)到66%。

進(jìn)一步跟蹤發(fā)現(xiàn)，pdb組的consumer覆蓋到partition1和partion2.

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

在kafka的主消費組defaultGroup中的consumer，覆蓋partition0

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

根據(jù)以上現(xiàn)象猜測，當(dāng)有多個消費者組對topic進(jìn)行消費時,存在partition的競爭機制在里面。

為驗證partion是否存在競爭，關(guān)掉測試程序，default group中的consumer覆蓋恢復(fù)100%。

如下圖。

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

翻閱官方文檔，有提到

1、同一個partition不支持comsumer并發(fā)。

2、不同gourp組中的consumer，可以對同一個topic進(jìn)行消費。

同時在spark的kafka插件中，對同一topic的消費者，不同組都可以達(dá)到100%的覆蓋率。

在本地做測試，同樣存在該問題。

不同組的消費者對同一個topic進(jìn)行消費時，兩個消費者都達(dá)不到100%覆蓋率（每個組的消費者總有一些數(shù)據(jù)消費不到）。

在中文社區(qū)翻閱所有的消費者和連接以及流的配置項，暫未發(fā)現(xiàn)影響該問題的配置項（http://orchome.com/kafka/index kafka中文社區(qū)地址。）。

關(guān)于該問題的研究暫時沒有結(jié)論，暫未確定是配置不合適或kafka.Client 存在問題，后續(xù)會持續(xù)跟蹤該問題。

通過該次問題的研究，對kafka消費組、消費者、連接流、partion和consumer映射關(guān)系、parttion 分配策略有了較為深入的了解，唯一遺憾的是未找到關(guān)于該問題的官方解釋和相關(guān)說明。

附，Kafka-Partion和consumer重新Rebalance算法如下： ?

• 將目標(biāo)Topic下的所有Partirtion排序，存于PT

• 對某Consumer Group下所有Consumer排序，存于CG，第i個Consumer記為Ci

• N=size(PT)/size(CG)，向上取整

• 解除Ci對原來分配的Partition的消費權(quán)（i從0開始）

• 將第i?N到（i+1）?N?1個Partition分配給Ci

　　目前，最新版（0.8.2.1）Kafka的Consumer Rebalance的控制策略是由每一個Consumer通過在Zookeeper上注冊Watch完成的。每個Consumer被創(chuàng)建時會觸發(fā)Consumer Group的Rebalance，具體啟動流程如下：

• High Level Consumer啟動時將其ID注冊到其Consumer Group下，在Zookeeper上的路徑為/consumers/[consumer group]/ids/[consumer id]

• 在/consumers/[consumer group]/ids上注冊Watch

• 在/brokers/ids上注冊Watch

• 如果Consumer通過Topic Filter創(chuàng)建消息流，則它會同時在/brokers/topics上也創(chuàng)建Watch

• 強制自己在其Consumer Group內(nèi)啟動Rebalance流程

　　在這種策略下，每一個Consumer或者Broker的增加或者減少都會觸發(fā)Consumer Rebalance。因為每個Consumer只負(fù)責(zé)調(diào)整自己所消費的Partition，為了保證整個Consumer Group的一致性，當(dāng)一個Consumer觸發(fā)了Rebalance時，該Consumer Group內(nèi)的其它所有其它Consumer也應(yīng)該同時觸發(fā)Rebalance。

相關(guān)文章：

• 消息隊列 Kafka 的基本知識及 .NET Core 客戶端
  

原文地址：http://www.cnblogs.com/vveiliang/p/6844345.html

---

.NET社區(qū)新聞，深度好文，微信中搜索dotNET跨平臺或掃描二維碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的.net Kafka.Client多个Consumer Group对Topic消费不能完全覆盖研究总结（一）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。