linux中kafka主题修改分区,kafka_2.11-2.0.0的部署与配置修改
1 [yun@mini01 config]$ pwd
2 /app/kafka/config3 [yun@mini01 config]$ vim server.properties4 ############################# Server Basics #############################5 # 每一個broker在集群中的唯一標示★★★6 # 比如mini01 為0 mini02 為1 mini03 為27 broker.id=0
8
9 ############################# Socket Server Settings #############################10 # The address the socket server listens on. It will get the value returned from11 # java.net.InetAddress.getCanonicalHostName() ifnot configured.12 # FORMAT:13 # listeners = listener_name://host_name:port
14 # EXAMPLE:15 # listeners = PLAINTEXT://your.host.name:9092
16 # 啟動kafka服務監(jiān)聽的ip和端口，默認為java.net.InetAddress.getCanonicalHostName()獲取的ip17 #listeners=PLAINTEXT://:9092
18
19 # broker通知到producers和consumers的主機地址和端口號20 # 如果未設(shè)置，使用listeners的配置。否則，使用java.net.InetAddress.getCanonicalHostName()返回的值21 # 對于ipv4,基本就是localhost了 127.0.0.1最后就是訪問失敗22 #advertised.listeners=PLAINTEXT://your.host.name:9092
23 # 在不同的機器，名稱不同 如mini01、mini02、mini03★★★24 advertised.listeners=PLAINTEXT://mini01:9092
25
26 # broker 處理消息的最大線程數(shù)，一般情況下不需要去修改27 num.network.threads=3
28
29 # broker處理磁盤IO 的線程數(shù) ，數(shù)值應該大于你的硬盤數(shù)30 num.io.threads=8
31
32 # 發(fā)送緩沖區(qū)buffer大小，數(shù)據(jù)不是一下子就發(fā)送的，先回存儲到緩沖區(qū)了到達一定的大小后在發(fā)送，能提高性能33 socket.send.buffer.bytes=102400
34
35 # kafka接收緩沖區(qū)大小，當數(shù)據(jù)到達一定大小后在序列化到磁盤36 socket.receive.buffer.bytes=102400
37
38 # 這個參數(shù)是向kafka請求消息或者向kafka發(fā)送消息的請求的最大數(shù)，這個值不能超過java的堆棧大小39 socket.request.max.bytes=104857600
40
41 ############################# Log Basics #############################42 # kafka數(shù)據(jù)的存放地址，多個地址的話用逗號分割 /tmp/kafka-logs-1，/tmp/kafka-logs-2
43 log.dirs=/app/kafka/logs44
45 # 默認的分區(qū)數(shù)，一個topic默認1個分區(qū)數(shù)46 num.partitions=1
47
48 # 每個數(shù)據(jù)目錄在啟動時用于日志恢復和關(guān)閉時用于刷新的線程數(shù)。49 num.recovery.threads.per.data.dir=1
50
51 ############################# Internal Topic Settings #############################52 # 組元數(shù)據(jù)內(nèi)部主題“__consumer_offset”和“__transaction_state”的復制因子53 # 對于開發(fā)測試之外的任何內(nèi)容，建議使用大于1的值來確?？捎眯?#xff0c;比如3。54 offsets.topic.replication.factor=3
55 transaction.state.log.replication.factor=3
56 transaction.state.log.min.isr=3
57
58 ############################# Log Flush Policy #############################59 # 在持久化到磁盤前message最大接收條數(shù)60 #log.flush.interval.messages=10000
61 log.flush.interval.messages=10000
62
63 # 持久化的最大時間間隔64 #log.flush.interval.ms=1000
65 log.flush.interval.ms=3000
66
67 ############################# Log Retention Policy #############################68 # 默認消息的最大持久化時間，168小時，7天69 # segment 文件保留的最長時間，超時則被刪除70 log.retention.hours=168
71
72 # 當分片的大小超過該值時，就會被刪除。該功能不依賴于log.retention.hours。為 -1沒有大小限制73 #log.retention.bytes=1073741824
74 log.retention.bytes=-1
75
76 # 滾動生成新的segment文件的最大時間77 log.roll.hours=168
78
79 # 單個分片的上限，達到該大小后會生成新的日志分片 1G80 log.segment.bytes=1073741824
81
82 # 日志分片的檢測時間間隔，每隔該時間會根據(jù)log保留策略決定是否刪除log分片83 log.retention.check.interval.ms=300000
84
85 # 默認為true 啟用日志清理器進程在服務器上運行86 log.cleaner.enable=true
87
88 # 默認為true 【當前版本】 啟用刪除主題。 如果此配置已關(guān)閉，則通過管理工具刪除主題將不起作用89 delete.topic.enable=true
90 ############################# Zookeeper #############################91 # Zookeeper connection string (see zookeeper docs fordetails).92 # This is a comma separated host:port pairs, each corresponding to a zk93 # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002".94 # You can also append an optional chroot stringto the urls to specify the95 # root directory forall kafka znodes.96 zookeeper.connect=mini01:2181,mini02:2181,mini03:2181,mini04:2181,mini05:2181
97
98 # Timeout in ms forconnecting to zookeeper99 zookeeper.connection.timeout.ms=6000
100
101
102 ############################# Group Coordinator Settings #############################103 # 在開發(fā)測試環(huán)境下該值設(shè)置為0，保證啟動后馬上可以使用。但在生產(chǎn)環(huán)境下，默認值3秒更適合104 group.initial.rebalance.delay.ms=3000
總結(jié)
以上是生活随笔為你收集整理的linux中kafka主题修改分区,kafka_2.11-2.0.0的部署与配置修改的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
