kafka topic 目录存放在哪_Kafka系列文章之安装测试-第2篇
生活随笔
收集整理的這篇文章主要介紹了
kafka topic 目录存放在哪_Kafka系列文章之安装测试-第2篇
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
前言
上篇文章講解了 Kafka 的基礎(chǔ)概念和架構(gòu),了解了基本概念之后,必須得實(shí)踐一波了,所謂“實(shí)踐才是檢驗(yàn)真理的唯一辦法”,后續(xù)系列關(guān)于 Kafka 的文章都以 kafka_2.11-0.9.0.0 為例;另外為了讓大家快速入門,本文只提供單機(jī)版的安裝實(shí)戰(zhàn)教程,如果有想嘗試集群方案的,后面在出一篇集群安裝的教程,廢話不多說了,直接開干。
安裝
1. 下載
版本號:kafka_2.11-0.9.0.0
下載地址:http://kafka.apache.org/downloads
2. 安裝
# 安裝目錄 $ pwd /Users/my/software/study# 減壓 $ sudo tar -zxvf kafka_2.11-0.9.0.0.tgz# 重命名 $ sudo mv kafka_2.11-0.9.0.0.tgz kafka-0.9# 查看目錄結(jié)構(gòu) $ cd kafka-0.9 && ls LICENSE NOTICE bin config libs site-docs# 目錄結(jié)構(gòu)介紹: # bin: 存放kafka 客戶端和服務(wù)端的執(zhí)行腳本 # config: 存放kafka的一些配置文件 # libs: 存放kafka運(yùn)行的的jar包 # site-docs: 存放kafka的配置文檔說明# 配置環(huán)境變量,方便在任意目錄下運(yùn)行kafka命令 # 博主使用的Mac,所以配置在了 ~/.bash_profile文件中, # Linux中則配置在 ~/.bashrc 或者 ~/.zshrc文件中 $ vim ~/.bash_profileexport KAFKA_HOME=/Users/haikuan1/software/study/kafka-0.9 export PATH=$PATH:$JAVA_HOME:$KAFKA_HOME/bin# 使得環(huán)境變量生效 $ source ~/.bash_profile3.運(yùn)行
3.1 啟動 zookeeper
# 啟動zookeeper,因?yàn)閗afka的元數(shù)據(jù)需要保存到zookeeper中 $ bin/zookeeper-server-start.sh config/zookeeper.properties# 若出現(xiàn)如下信息,則證明zookeeper啟動成功了 [2020-04-25 16:23:44,493] INFO Server environment:user.dir=/Users/haikuan1/software/study/kafka-0.10 (org.apache.zookeeper.server.ZooKeeperServer) [2020-04-25 16:23:44,505] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer) [2020-04-25 16:23:44,505] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer) [2020-04-25 16:23:44,505] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer) [2020-04-25 16:23:44,548] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)3.2 啟動 Kafka server
# 以守護(hù)進(jìn)程的方式啟動kafka服務(wù)端,去掉 -daemon 參數(shù)則關(guān)閉當(dāng)前窗口服務(wù)端自動退出 $ bin/kafka-server-start.sh -daemon config/server.properties3.3 kafka 基礎(chǔ)命令使用
# 1. 創(chuàng)建一個topic # --replication-factor:指定副本個數(shù) # --partition:指定partition個數(shù) # --topic:指定topic的名字 $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic mytopic# 2. 查看創(chuàng)建成功的topic $ kafka-topics.sh --list --zookeeper localhost:2181# 3. 創(chuàng)建生產(chǎn)者和消費(fèi)者# 3.1 啟動kafka消費(fèi)端 # --from-beginning:從頭開始消費(fèi),該特性也表明kafka消息具有持久性 $ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning# 3.2 啟動kafka生產(chǎn)端 # --broker-list:當(dāng)前的Broker列表,即提供服務(wù)的列表 $ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic4.使用 Java 連接 kafka 進(jìn)行測試
4.1 創(chuàng)建一個 maven 工程,引入如下 pom 依賴
<dependency><groupId>org.apache.kafka</groupId><artifactId>kafka-clients</artifactId><version>0.9.0.0</version> </dependency><dependency><groupId>org.apache.kafka</groupId><artifactId>kafka_2.11</artifactId><version>0.9.0.0</version> </dependency>4.2 消費(fèi)者端代碼
4.3 生產(chǎn)者端代碼
4.4 消費(fèi)者端效果圖
5.總結(jié)
本文介紹了 kafka 單機(jī)版安裝及簡單命令使用,然后使用 Java 實(shí)現(xiàn)了生產(chǎn)者和消費(fèi)者的簡單功能,雖然內(nèi)容可能比較簡單,但還是強(qiáng)烈建議大家手動去實(shí)踐一下,從而對 kafka 的架構(gòu)有一個更深入的理解。下篇文章我們來介紹一下 Kafka 常用參數(shù)及其背后的原理,敬請期待。
系列文章盡在微信公眾號【z小趙】,關(guān)注作者,系列文章不迷路。
總結(jié)
以上是生活随笔為你收集整理的kafka topic 目录存放在哪_Kafka系列文章之安装测试-第2篇的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 异常信息_一个针对异常信息通知的spri
- 下一篇: 存储器块清零c语言版,存储器块清零实验报