全網最詳細的大數據Kafka文章系列，強烈建議收藏加關注！?

新文章都已經列出歷史文章目錄，幫助大家回顧前面的知識重點。

目錄

系列歷史文章

Kafka的集群搭建以及shell啟動命令腳本編寫

一、搭建Kafka集群

1、 將Kafka的安裝包上傳到虛擬機，并解壓

2、修改 server.properties

3、將安裝好的kafka復制到另外兩臺服務器

4、配置KAFKA_HOME環境變量

5、啟動服務器

二、目錄結構分析

三、Kafka一鍵啟動/關閉腳本

1、在節點1中創建 /export/onekey 目錄

2、準備slave配置文件，用于保存要啟動哪幾個節點上的kafka

3、編寫start-kafka.sh腳本

4、編寫stop-kafka.sh腳本

5、給start-kafka.sh、stop-kafka.sh配置執行權限

6、執行一鍵啟動、一鍵關閉

---

系列歷史文章

2021年大數據Kafka（十二）：??Kafka配額限速機制??

2021年大數據Kafka（十一）：??Kafka的消費者負載均衡機制和數據積壓問題??

2021年大數據Kafka（十）：kafka生產者數據分發策略

2021年大數據Kafka（九）：kafka消息存儲及查詢機制原理

2021年大數據Kafka（八）：Kafka如何保證數據不丟失

2021年大數據Kafka（七）：Kafka的分片和副本機制

2021年大數據Kafka（六）：??安裝Kafka-Eagle??

2021年大數據Kafka（五）：??Kafka的java API編寫??

2021年大數據Kafka（四）：??kafka的shell命令使用??

2021年大數據Kafka（三）：??Kafka的集群搭建以及shell啟動命令腳本編寫??

2021年大數據Kafka（二）：??Kafka特點總結和架構??

2021年大數據Kafka（一）：??消息隊列和Kafka的基本介紹??

Kafka的集群搭建以及shell啟動命令腳本編寫

一、搭建Kafka集群

1、 將Kafka的安裝包上傳到虛擬機，并解壓

cd /export/software/tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/cd /export/server/kafka_2.12-2.4.1/

2、修改 server.properties

cd /export/server/kafka_2.12-2.4.1/configvim server.properties# 指定broker的idbroker.id=0#?指定 kafka的綁定監聽的地址listeners=PLAINTEXT://node1:9092# 指定Kafka數據的位置log.dirs=/export/server/kafka_2.12-2.4.1/data#?配置zk的三個節點zookeeper.connect=node1:2181,node2:2181,node3:2181

3、將安裝好的kafka復制到另外兩臺服務器

cd /export/serverscp -r kafka_2.12-2.4.1/ node2:$PWDscp -r kafka_2.12-2.4.1/ node3:$PWD修改另外兩個節點的broker.id分別為1和2---------node2--------------cd /export/server/kafka_2.12-2.4.1/configvim server.propertiesbroker.id=1listeners=PLAINTEXT://node2:9092--------node3--------------cd /export/server/kafka_2.12-2.4.1/configvim server.propertiesbroker.id=2listeners=PLAINTEXT://node3:9092

4、配置KAFKA_HOME環境變量

vim /etc/profile
export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}分發到各個節點
scp /etc/profile node2:$PWD
scp /etc/profile node3:$PWD
每個節點加載環境變量
source /etc/profile

5、啟動服務器

# 啟動ZooKeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties &# 啟動Kafkacd /export/server/kafka_2.12-2.4.1nohup bin/kafka-server-start.sh config/server.properties 2>&1 &# 測試Kafka集群是否啟動成功?:?使用 jps?查看各個節點 是否出現有kafka

?或者通過 zookeeper查看 brokers節點目錄下,?是否有三個ids

二、目錄結構分析

目錄名稱	說明
bin	Kafka的所有執行腳本都在這里。例如：啟動Kafka服務器、創建Topic、生產者、消費者程序等等
config	Kafka的所有配置文件
libs	運行Kafka所需要的所有JAR包
logs	Kafka的所有日志文件，如果Kafka出現一些問題，需要到該目錄中去查看異常信息
site-docs	Kafka的網站幫助文件

三、Kafka一鍵啟動/關閉腳本

為了方便將來進行一鍵啟動、關閉Kafka，我們可以編寫一個shell腳本來操作。將來只要執行一次該腳本就可以快速啟動/關閉Kafka。

1、在節點1中創建 /export/onekey 目錄

cd /export/onekey

2、準備slave配置文件，用于保存要啟動哪幾個節點上的kafka

node1node2node3

3、編寫start-kafka.sh腳本

vim start-kafka.shcat /export/onekey/slave | while read linedo{echo $linessh $line "source /etc/profile;export JMX_PORT=9988;nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties >/dev/nul* 2>&1 & "}&waitdone

4、編寫stop-kafka.sh腳本

vim stop-kafka.shcat /export/onekey/slave | while read linedo{echo $linessh $line "source /etc/profile;jps |grep Kafka |cut -d' ' -f1 |xargs kill -s 9"}&waitdone

5、給start-kafka.sh、stop-kafka.sh配置執行權限

chmod u+x start-kafka.shchmod u+x stop-kafka.sh

6、執行一鍵啟動、一鍵關閉

./start-kafka.sh./stop-kafka.sh

---

• 📢博客主頁：https://lansonli.blog.csdn.net
• 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
• 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
• 📢大數據系列文章會每天更新，停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?

總結

以上是生活随笔為你收集整理的2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。