Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor
接上文【Kafka分區(qū)分配策略（1）——RangeAssignor】
歡迎支持筆者新作：《深入理解Kafka:核心設計與實踐原理》和《RabbitMQ實戰(zhàn)指南》，同時歡迎關(guān)注筆者的微信公眾號：朱小廝的博客。
歡迎跳轉(zhuǎn)到本文的原文鏈接：https://honeypps.com/mq/kafka-partitions-allocation-strategy-2-round-robin-and-sticky-assignor/
RoundRobinAssignor分配策略
RoundRobinAssignor策略的原理是將消費組內(nèi)所有消費者以及消費者所訂閱的所有topic的partition按照字典序排序，然后通過輪詢方式逐個將分區(qū)以此分配給每個消費者。RoundRobinAssignor策略對應的partition.assignment.strategy參數(shù)值為：org.apache.kafka.clients.consumer.RoundRobinAssignor。
如果同一個消費組內(nèi)所有的消費者的訂閱信息都是相同的，那么RoundRobinAssignor策略的分區(qū)分配會是均勻的。舉例，假設消費組中有2個消費者C0和C1，都訂閱了主題t0和t1，并且每個主題都有3個分區(qū)，那么所訂閱的所有分區(qū)可以標識為：t0p0、t0p1、t0p2、t1p0、t1p1、t1p2。最終的分配結(jié)果為：
消費者C0：t0p0、t0p2、t1p1 消費者C1：t0p1、t1p0、t1p2如果同一個消費組內(nèi)的消費者所訂閱的信息是不相同的，那么在執(zhí)行分區(qū)分配的時候就不是完全的輪詢分配，有可能會導致分區(qū)分配的不均勻。如果某個消費者沒有訂閱消費組內(nèi)的某個topic，那么在分配分區(qū)的時候此消費者將分配不到這個topic的任何分區(qū)。
舉例，假設消費組內(nèi)有3個消費者C0、C1和C2，它們共訂閱了3個主題：t0、t1、t2，這3個主題分別有1、2、3個分區(qū)，即整個消費組訂閱了t0p0、t1p0、t1p1、t2p0、t2p1、t2p2這6個分區(qū)。具體而言，消費者C0訂閱的是主題t0，消費者C1訂閱的是主題t0和t1，消費者C2訂閱的是主題t0、t1和t2，那么最終的分配結(jié)果為：
消費者C0：t0p0 消費者C1：t1p0 消費者C2：t1p1、t2p0、t2p1、t2p2可以看到RoundRobinAssignor策略也不是十分完美，這樣分配其實并不是最優(yōu)解，因為完全可以將分區(qū)t1p1分配給消費者C1。
StickyAssignor分配策略
我們再來看一下StickyAssignor策略，“sticky”這個單詞可以翻譯為“粘性的”，Kafka從0.11.x版本開始引入這種分配策略，它主要有兩個目的：
當兩者發(fā)生沖突時，第一個目標優(yōu)先于第二個目標。鑒于這兩個目標，StickyAssignor策略的具體實現(xiàn)要比RangeAssignor和RoundRobinAssignor這兩種分配策略要復雜很多。我們舉例來看一下StickyAssignor策略的實際效果。
假設消費組內(nèi)有3個消費者：C0、C1和C2，它們都訂閱了4個主題：t0、t1、t2、t3，并且每個主題有2個分區(qū)，也就是說整個消費組訂閱了t0p0、t0p1、t1p0、t1p1、t2p0、t2p1、t3p0、t3p1這8個分區(qū)。最終的分配結(jié)果如下：
消費者C0：t0p0、t1p1、t3p0 消費者C1：t0p1、t2p0、t3p1 消費者C2：t1p0、t2p1這樣初看上去似乎與采用RoundRobinAssignor策略所分配的結(jié)果相同，但事實是否真的如此呢？再假設此時消費者C1脫離了消費組，那么消費組就會執(zhí)行再平衡操作，進而消費分區(qū)會重新分配。如果采用RoundRobinAssignor策略，那么此時的分配結(jié)果如下：
消費者C0：t0p0、t1p0、t2p0、t3p0 消費者C2：t0p1、t1p1、t2p1、t3p1如分配結(jié)果所示，RoundRobinAssignor策略會按照消費者C0和C2進行重新輪詢分配。而如果此時使用的是StickyAssignor策略，那么分配結(jié)果為：
消費者C0：t0p0、t1p1、t3p0、t2p0 消費者C2：t1p0、t2p1、t0p1、t3p1可以看到分配結(jié)果中保留了上一次分配中對于消費者C0和C2的所有分配結(jié)果，并將原來消費者C1的“負擔”分配給了剩余的兩個消費者C0和C2，最終C0和C2的分配還保持了均衡。
如果發(fā)生分區(qū)重分配，那么對于同一個分區(qū)而言有可能之前的消費者和新指派的消費者不是同一個，對于之前消費者進行到一半的處理還要在新指派的消費者中再次復現(xiàn)一遍，這顯然很浪費系統(tǒng)資源。StickyAssignor策略如同其名稱中的“sticky”一樣，讓分配策略具備一定的“粘性”，盡可能地讓前后兩次分配相同，進而減少系統(tǒng)資源的損耗以及其它異常情況的發(fā)生。
到目前為止所分析的都是消費者的訂閱信息都是相同的情況，我們來看一下訂閱信息不同的情況下的處理。
舉例，同樣消費組內(nèi)有3個消費者：C0、C1和C2，集群中有3個主題：t0、t1和t2，這3個主題分別有1、2、3個分區(qū)，也就是說集群中有t0p0、t1p0、t1p1、t2p0、t2p1、t2p2這6個分區(qū)。消費者C0訂閱了主題t0，消費者C1訂閱了主題t0和t1，消費者C2訂閱了主題t0、t1和t2。
如果此時采用RoundRobinAssignor策略，那么最終的分配結(jié)果如下所示（和講述RoundRobinAssignor策略時的一樣，這樣不妨贅述一下）：
【分配結(jié)果集1】 消費者C0：t0p0 消費者C1：t1p0 消費者C2：t1p1、t2p0、t2p1、t2p2如果此時采用的是StickyAssignor策略，那么最終的分配結(jié)果為：
【分配結(jié)果集2】 消費者C0：t0p0 消費者C1：t1p0、t1p1 消費者C2：t2p0、t2p1、t2p2可以看到這是一個最優(yōu)解（消費者C0沒有訂閱主題t1和t2，所以不能分配主題t1和t2中的任何分區(qū)給它，對于消費者C1也可同理推斷）。
假如此時消費者C0脫離了消費組，那么RoundRobinAssignor策略的分配結(jié)果為：
可以看到RoundRobinAssignor策略保留了消費者C1和C2中原有的3個分區(qū)的分配：t2p0、t2p1和t2p2（針對結(jié)果集1）。而如果采用的是StickyAssignor策略，那么分配結(jié)果為：
消費者C1：t1p0、t1p1、t0p0 消費者C2：t2p0、t2p1、t2p2可以看到StickyAssignor策略保留了消費者C1和C2中原有的5個分區(qū)的分配：t1p0、t1p1、t2p0、t2p1、t2p2。
從結(jié)果上看StickyAssignor策略比另外兩者分配策略而言顯得更加的優(yōu)異，這個策略的代碼實現(xiàn)也是異常復雜，如果讀者沒有接觸過這種分配策略，不妨使用一下來嘗嘗鮮。
歡迎跳轉(zhuǎn)到本文的原文鏈接：https://honeypps.com/mq/kafka-partitions-allocation-strategy-2-round-robin-and-sticky-assignor/
歡迎支持筆者新作：《深入理解Kafka:核心設計與實踐原理》和《RabbitMQ實戰(zhàn)指南》，同時歡迎關(guān)注筆者的微信公眾號：朱小廝的博客。
總結(jié)
以上是生活随笔為你收集整理的Kafka分区分配策略（2）——RoundRobinAssignor和StickyAssignor的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Kafka分区分配策略（1）——Rang
- 下一篇： Kafka分区分配策略（3）——自定义分