概覽

安裝過程總共分為 3 大塊，第一 Java 環(huán)境不必多說，第二 Zookeeper 安裝，第三 Kafka 安裝。

概念了解

Kafka 有幾個(gè)重要的概念需要先了解一下

名詞

解釋

broker

可以理解為 Kafka 所在的服務(wù)器

ZooKeeper

分布式服務(wù)框架在 Kafka 中的作用主要負(fù)責(zé)保存 topic，partition 元數(shù)據(jù)，和對 broker 的監(jiān)控及治理，以及 partition 的 leader 選舉(partition 可以有多個(gè)副本，但是只有一個(gè)處于工作狀態(tài)，副本只是負(fù)責(zé)同步數(shù)據(jù)，當(dāng) leader partition 死掉了，會把一個(gè)副本的 partition 升級為 leader )

topic

主題，可以理解為消息的分類

partition

分區(qū)，從大的概念來說 topic 中的消息都是存放在 patition 中，一個(gè) topic 可以有多個(gè) partition, 一個(gè) partition 可以有多個(gè)副本

offset

偏移量，在 Kafka 中 offset 是 partition 中消息序列號，可以認(rèn)為是這個(gè)消息的唯一標(biāo)識

segment

多個(gè)大小相等的 segment file (段) 組成了一個(gè) partition

Java 環(huán)境安裝

ZooKeeper框架安裝

下載ZooKeeper

cd /opt

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

tar zvxf zookeeper-3.4.14.tar.gz

創(chuàng)建配置文件

cd zookeeper-3.4.14

# 創(chuàng)建數(shù)據(jù)目錄 #

mkdir data

cd conf

cp zoo_sample.cfg zoo.cfg

修改 dataDir

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial

# synchronization phase can take

initLimit=10

# The number of ticks that can pass between

# sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/opt/zookeeper-3.4.14/data

# the port at which the clients will connect

clientPort=2181

# the maximum number of client connections.

# increase this if you need to handle more clients

#maxClientCnxns=60

#

# Be sure to read the maintenance section of the

# administrator guide before turning on autopurge.

#

# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number of snapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task interval in hours

# Set to "0" to disable auto purge feature

#autopurge.purgeInterval=1

切到 ZK 安裝目錄，接下來就可以啟動 zookeeper 服務(wù)器了。

啟動 ZooKeeper 服務(wù)器

cd /opt/zookeeper-3.4.14 && bin/zkServer.sh start

停止 Zookeeper 服務(wù)器

cd /opt/zookeeper-3.4.14 && bin/zkServer.sh stop

重啟 Zookeeper 服務(wù)器

cd /opt/zookeeper-3.4.14 && bin/zkServer.sh restart

啟動響應(yīng)：

[root@vm172-31-110-6 zookeeper-3.4.14]# bin/zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

啟動 CLI 連接 ZK，測試連通性，會看到 Welcome to ZooKeeper! 的回顯。

cd /opt/zookeeper-3.4.14 && bin/zkCli.sh

Apache Kafka安裝

下載 Kafka

cd /opt

wget http://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz

tar zvxf kafka_2.12-2.2.0.tgz

cd /opt/kafka_2.12-2.2.0

配置文件

config/server.properties

啟動 Kafka

bin/kafka-server-start.sh config/server.properties

# 生產(chǎn)環(huán)境，后臺運(yùn)行 #

cd /opt/kafka_2.12-2.2.0 && nohup bin/kafka-server-start.sh config/server.properties &

停止 Kafka

cd /opt/kafka_2.12-2.2.0 && bin/kafka-server-stop.sh config/server.properties

基本操作

創(chuàng)建一個(gè)名為 Hello-Kafka 的主題，其中包含一個(gè)分區(qū)和一個(gè)副本因子。

創(chuàng)建 topic 后，您可以在終端窗口中獲取通知，可以在 /tmp/kafka-logs 中看到創(chuàng)建 topic 的日志。

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Hello-Kafka

要獲取 Kafka 服務(wù)器中的 topic 列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

啟動生產(chǎn)者以發(fā)送消息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka

啟動消費(fèi)者以接收消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Hello-Kafka --from-beginning

刪除主題

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka

界面管理工具

總結(jié)

Apache Kafka 教程 https://www.w3cschool.cn/apache_kafka/

以上是 Kafka 安裝和一些使用的簡單操作，生產(chǎn)環(huán)境 Kafka Cluster 的配置和運(yùn)維比這復(fù)雜一些，需要修改不同的配置文件。

總結(jié)

以上是生活随笔為你收集整理的java kafka搭建,Apache Kafka 安装步骤的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。