------------------------------------------- 系統 相關 -------------------------------------------

## 每一個broker在集群中的唯一標示，要求是正數。在改變IP地址，不改變broker.id的話不會影響consumers

broker.id =1

## kafka數據的存放地址，多個地址的話用逗號分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2。

## 每當創建新partition時，都會選擇在包含最少 partitions的路徑下進行。注：這個目錄下不能有其他非kafka的目錄，不然會導致kafka集群無法啟動

log.dirs = /tmp/kafka-logs

## 提供給客戶端響應的端口

port =9092

## 消息體的最大大小，單位是字節

message.max.bytes =1000000

## broker 處理消息的最大線程數，一般情況下不需要去修改

num.network.threads =3

## broker處理磁盤IO 的線程數 ，數值應該大于你的硬盤數

num.io.threads =8

## 一些后臺任務處理的線程數，例如過期消息文件的刪除等，一般情況下不需要去做修改

background.threads =4

## 等待IO線程處理的請求隊列最大數，若是等待IO的請求超過這個數值，那么會停止接受外部消息，算是一種自我保護機制

queued.max.requests =500

##broker的主機地址，若是設置了，那么會綁定到這個地址上，若是沒有，會綁定到所有的接口上，并將其中之一發送到ZK，一般不設置

host.name

## 打廣告的地址，若是設置的話，會提供給producers, consumers,其他broker連接，具體如何使用還未深究

advertised.host.name

## 廣告地址端口，必須不同于port中的設置

advertised.port

## socket的發送緩沖區，socket的調優參數SO_SNDBUFF

socket.send.buffer.bytes =100*1024

## socket的接受緩沖區，socket的調優參數SO_RCVBUFF

socket.receive.buffer.bytes =100*1024

## socket請求的最大數值，防止serverOOM，message.max.bytes必然要小于socket.request.max.bytes，會被topic創建時的指定參數覆蓋

socket.request.max.bytes =100*1024*1024

------------------------------------------- LOG 相關 -------------------------------------------

## topic的分區是以一堆segment文件存儲的，這個控制每個segment的大小，文件超過指定大小會重新創建一個文件，會被topic創建時的指定參數覆蓋

log.segment.bytes =1024*1024*1024

## 這個參數會在日志segment沒有達到log.segment.bytes設置的大小，也會強制新建一個segment，會被topic創建時的指定參數覆蓋

log.roll.hours =24*7

## 日志清理策略 選擇有：delete和compact 主要針對過期數據的處理，或是日志文件達到限制的額度，會被 topic創建時的指定參數覆蓋

log.cleanup.policy = delete

## 數據存儲的最大時間 超過這個時間 會根據log.cleanup.policy設置的策略處理數據，也就是消費端能夠多久去消費數據

## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋

log.retention.minutes=7days

## 指定日志每隔多久檢查看是否可以被刪除，默認1分鐘

log.cleanup.interval.mins=1

## topic每個分區的最大文件大小，一個topic的大小限制 = 分區數*log.retention.bytes 。-1沒有大小限制

## log.retention.bytes和log.retention.minutes任意一個達到要求，都會執行刪除，會被topic創建時的指定參數覆蓋

log.retention.bytes=-1

## 日志清除程序檢查日志是否滿足被刪除的頻率(以毫秒為單位) log.cleanup.policy中設置的策略

log.retention.check.interval.ms=5minutes

## 是否開啟日志壓縮

log.cleaner.enable=false

## 日志壓縮運行的線程數

log.cleaner.threads =1

## 日志壓縮時候處理的最大大小

log.cleaner.io.max.bytes.per.second=None

## 日志壓縮去重時候的緩存空間 ，在空間允許的情況下，越大越好

log.cleaner.dedupe.buffer.size=500*1024*1024

## 日志清理時候用到的IO塊大小 一般不需要修改

log.cleaner.io.buffer.size=512*1024

## 日志清理中hash表的擴大因子 一般不需要修改

log.cleaner.io.buffer.load.factor =0.9

## 當沒有日志要清理時，休眠的時間

log.cleaner.backoff.ms =15000

## 日志清理的頻率控制，越大意味著更高效的清理，同時會存在一些空間上的浪費，會被topic創建時的指定參數覆蓋

log.cleaner.min.cleanable.ratio=0.5

## 對于壓縮的日志保留的最長時間，也是客戶端消費消息的最長時間，同log.retention.minutes的區別在于一個控制未壓縮數據，一個控制壓縮后的數據。會被topic創建時的指定參數覆蓋

log.cleaner.delete.retention.ms =1day

## 對于segment日志的索引文件大小限制，會被topic創建時的指定參數覆蓋

log.index.size.max.bytes =10*1024*1024

## 當執行一個fetch操作后，需要一定的空間來掃描最近的offset大小，設置越大，代表掃描速度越快，但是也更好內存，一般情況下不需要搭理這個參數

log.index.interval.bytes =4096

## log文件"sync"到磁盤之前累積的消息條數

## 因為磁盤IO操作是一個慢操作,但又是一個"數據可靠性"的必要手段，所以此參數的設置,需要在"數據可靠性"與"性能"之間做必要的權衡.

## 如果此值過大,將會導致每次"fsync"的時間較長(IO阻塞)；如果此值過小,將會導致"fsync"的次數較多,這也意味著整體的client請求有一定的延遲.

## 物理server故障,將會導致沒有fsync的消息丟失.

log.flush.interval.messages=None

## 檢查是否需要固化到硬盤的時間間隔

log.flush.scheduler.interval.ms =3000

## 僅僅通過interval來控制消息的磁盤寫入時機,是不足的.

## 此參數用于控制"fsync"的時間間隔,如果消息量始終沒有達到閥值,但是離上一次磁盤同步的時間間隔達到閥值,也將觸發.

log.flush.interval.ms = None

## 文件在索引中清除后保留的時間 一般不需要去修改

log.delete.delay.ms =60000

## 控制上次固化硬盤的時間點，以便于數據恢復 一般不需要去修改

log.flush.offset.checkpoint.interval.ms =60000

------------------------------------------- TOPIC 相關 -------------------------------------------

## 是否允許自動創建topic ，若是false，就需要通過命令創建topic

auto.create.topics.enable =true

## 一個topic ，默認分區的replication個數 ，不得大于集群中broker的個數

default.replication.factor =1

## 每個topic的分區個數，若是在topic創建時候沒有指定的話 會被topic創建時的指定參數覆蓋

num.partitions =1

總結

以上是生活随笔為你收集整理的kafka配置文件 中文乱码_Kafka学习之配置文件详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。