kafka安装_安装Kafka
安裝ZK
? Workspace tar -zxf zookeeper-3.4.6.tar.gz? Workspace mkdir -p data/zookeeper
配置文件:
? zookeeper-3.4.6 cat conf/zoo.cfgtickTime=2000
dataDir=/Users/vonzhou/Workspace/data/zookeeper
clientPort=2181
啟動:
? zookeeper-3.4.6 bin/zkServer.sh startJMX enabled by default
Using config: /Users/vonzhou/Workspace/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
驗證:
? zookeeper-3.4.6 telnet 127.0.0.1 2181Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
srvr
Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x0
Mode: standalone
Node count: 4
Connection closed by foreign host.
安裝Kafka
? Workspace tar -zxf kafka_2.11-0.9.0.1.tgz? kafka_2.11-0.9.0.1 bin/kafka-server-start.sh -daemon config/server.properties
創(chuàng)建一個topic:
? kafka_2.11-0.9.0.1 bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 1 --topic testCreated topic "test".
向這個topic發(fā)送消息:
? kafka_2.11-0.9.0.1 bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic testTest msg 0
Test msg 1
從這個topic訂閱消息:
? kafka_2.11-0.9.0.1 bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginningTest msg 0
Test msg 1
^CProcessed a total of 2 messages
重要配置
boker.id :集群中每個broker的唯一標識,默認是0,最好設(shè)置成和機器名有相關(guān)性的整數(shù)。
port :broker的監(jiān)聽端口,默認是9092.
zookeeper.connect :用于保存broker元數(shù)據(jù)的ZK地址,冒號分隔的一組 hostname:port/path ,path不指定標識根路徑。
log.dirs : 存放日志的目錄,可以逗號分隔的多個
auto.create.topics.enable :是否開啟默認創(chuàng)建topic,默認true。
num.partitions:主題的分區(qū)個數(shù),默認是1.
log.retention.ms:決定消息多久以后會被刪除,默認是168小時。
log.retention.bytes:決定了一個分區(qū)可以保留的數(shù)據(jù)量,如果同時指定了log.retention.ms 和 log.retention.bytes,則任意一個滿足都會刪除。
log.segment.bytes:日志片段的大小,默認是1GB。
log.segment.ms:指定了日志片段的關(guān)閉時間,而不是非要等到滿足log.segment.bytes。
message.max.bytes:單個消息的大小(壓縮后的),默認是1MB。
總結(jié)
以上是生活随笔為你收集整理的kafka安装_安装Kafka的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 语音控制 python_python有没
- 下一篇: python统计单词频率、存放在字典中_