全網最詳細的大數據Kafka文章系列，強烈建議收藏加關注！?

新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點。

目錄

系列歷史文章

Kafka配額限速機制

限制producer端的速率

限制consumer端的速率

取消kafka的Quota配置

---

系列歷史文章

2021年大數據Kafka（十二）：??Kafka配額限速機制??

2021年大數據Kafka（十一）：??Kafka的消費者負載均衡機制和數據積壓問題??

2021年大數據Kafka（十）：kafka生產者數據分發策略

2021年大數據Kafka（九）：kafka消息存儲及查詢機制原理

2021年大數據Kafka（八）：Kafka如何保證數據不丟失

2021年大數據Kafka（七）：Kafka的分片和副本機制

2021年大數據Kafka（六）：??安裝Kafka-Eagle??

2021年大數據Kafka（五）：??Kafka的java API編寫??

2021年大數據Kafka（四）：??kafka的shell命令使用??

2021年大數據Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本編寫??

2021年大數據Kafka（二）：??Kafka特點總結和架構??

2021年大數據Kafka（一）：??消息隊列和Kafka的基本介紹??

Kafka配額限速機制

生產者和消費者以極高的速度生產/消費大量數據或產生請求，從而占用broker上的全部資源，造成網絡IO飽和。有了配額（Quotas）就可以避免這些問題。Kafka支持配額管理，從而可以對Producer和Consumer的produce&fetch操作進行流量限制，防止個別業務壓爆服務器。

限制producer端的速率

為所有client id設置默認值，以下為所有producer程序設置其TPS不超過1MB/s，即1048576/s，命令如下：

bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'producer_byte_rate=1048576' --entity-type clients --entity-default

運行基準測試，觀察生產消息的速率

bin/kafka-producer-perf-test.sh --topic test --num-records 50000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1:9092,node2:9092,node3:9092 acks=1

限制前：

限制后：

結果： ? ? ?

50000 records sent, 1120.222252 records/sec (1.07 MB/sec)

限制consumer端的速率

對consumer限速與producer類似，只不過參數名不一樣。 ? ? ?

為指定的topic進行限速，以下為所有consumer程序設置topic速率不超過1MB/s，即1048576/s。命令如下：

bin/kafka-configs.sh --zookeeper node1:2181 --alter --add-config 'consumer_byte_rate=1048576' --entity-type clients --entity-default

運行基準測試，觀察消息消費的速率

bin/kafka-consumer-perf-test.sh --broker-list node1:9092,node2:9092,node3:9092 --topic test --fetch-size 1048576 --messages 50000

限制前：

限制后：

結果：

MB.sec：?0.9308

取消kafka的Quota配置

bin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'producer_byte_rate' --entity-type clients --entity-defaultbin/kafka-configs.sh --zookeeper node1:2181 --alter --delete-config 'consumer_byte_rate' --entity-type clients --entity-default

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
• 📢大數據系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据Kafka（十二）：❤️Kafka配额限速机制❤️的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。