全網(wǎng)最詳細(xì)的大數(shù)據(jù)Kafka文章系列，強(qiáng)烈建議收藏加關(guān)注！?

新文章都已經(jīng)列出歷史文章目錄，幫助大家回顧前面的知識重點。

目錄

系列歷史文章

Kafka的消費者負(fù)載均衡機(jī)制和數(shù)據(jù)積壓問題

一、kafka的消費者負(fù)載均衡機(jī)制

二、數(shù)據(jù)積壓問題

第一步: 使用kafka-eagle查看數(shù)據(jù)積壓情況

第二步: 解決數(shù)據(jù)積壓問題

---

系列歷史文章

2021年大數(shù)據(jù)Kafka（十二）：??Kafka配額限速機(jī)制??

2021年大數(shù)據(jù)Kafka（十一）：??Kafka的消費者負(fù)載均衡機(jī)制和數(shù)據(jù)積壓問題??

2021年大數(shù)據(jù)Kafka（十）：kafka生產(chǎn)者數(shù)據(jù)分發(fā)策略

2021年大數(shù)據(jù)Kafka（九）：kafka消息存儲及查詢機(jī)制原理

2021年大數(shù)據(jù)Kafka（八）：Kafka如何保證數(shù)據(jù)不丟失

2021年大數(shù)據(jù)Kafka（七）：Kafka的分片和副本機(jī)制

2021年大數(shù)據(jù)Kafka（六）：??安裝Kafka-Eagle??

2021年大數(shù)據(jù)Kafka（五）：??Kafka的java API編寫??

2021年大數(shù)據(jù)Kafka（四）：??kafka的shell命令使用??

2021年大數(shù)據(jù)Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本編寫??

2021年大數(shù)據(jù)Kafka（二）：??Kafka特點總結(jié)和架構(gòu)??

2021年大數(shù)據(jù)Kafka（一）：??消息隊列和Kafka的基本介紹??

Kafka的消費者負(fù)載均衡機(jī)制和數(shù)據(jù)積壓問題

一、kafka的消費者負(fù)載均衡機(jī)制

問題: 請問如何通過kafka模擬點對點和發(fā)布訂閱模式呢?

點對點:?讓所有監(jiān)聽這個topic的消費者, 都屬于同一個消費者組即可或者監(jiān)聽這個topic消費者, 保證唯一
發(fā)布訂閱:定義多個消費者, 讓多個消費者屬于不同組即可

二、數(shù)據(jù)積壓問題

Kafka消費者消費數(shù)據(jù)的速度是非常快的，但如果由于處理Kafka消息時，由于有一些外部IO、或者是產(chǎn)生網(wǎng)絡(luò)擁堵，就會造成Kafka中的數(shù)據(jù)積壓（或稱為數(shù)據(jù)堆積）。如果數(shù)據(jù)一直積壓，會導(dǎo)致數(shù)據(jù)出來的實時性受到較大影響。

第一步: 使用kafka-eagle查看數(shù)據(jù)積壓情況

?

第二步: 解決數(shù)據(jù)積壓問題

出現(xiàn)積壓的原因: ?

• 因為數(shù)據(jù)寫入目的容器失敗,從而導(dǎo)致消費失敗
• 因為網(wǎng)絡(luò)延遲消息消費失敗
• 消費邏輯過于復(fù)雜, 導(dǎo)致消費過慢,出現(xiàn)積壓問題

解決方案:

• 對于第一種, 我們常規(guī)解決方案, 處理目的容器,保證目的容器是一直可用狀態(tài)
• 對于第二種, 如果之前一直沒問題, 只是某一天出現(xiàn), 可以調(diào)整消費的超時時間
• 對于第三種, 一般解決方案,調(diào)整消費代碼, 消費更快即可, 利于消費者的負(fù)載均衡策略,提升消費者數(shù)量

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創(chuàng)，首發(fā)于 CSDN博客🙉
• 📢大數(shù)據(jù)系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學(xué)習(xí)，全力奔赴更美好的生活?

總結(jié)

以上是生活随笔為你收集整理的2021年大数据Kafka（十一）：❤️Kafka的消费者负载均衡机制和数据积压问题❤️的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。