文章目錄

• • • 1.引入Maven依賴
    • 2. kafka.properties文件中配置內(nèi)容
    • 3. 發(fā)送端 producer-kafka.xml 配置
    • 4. 接收端 consumer-kafka.xml 配置
    • 5. kafka消息監(jiān)聽類
    • 6. Controller的實(shí)現(xiàn)
    • 7. 測試
    • 8. 項(xiàng)目鏈接：

1.引入Maven依賴

<!-- 添加spring-kafka支持 --> <dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>2.2.2.RELEASE</version> </dependency>

2. kafka.properties文件中配置內(nèi)容

################## kafkaListener Producer 發(fā)送端配置 ################## # brokers 集群 kafka.producer.bootstrap.servers = 192.168.204.201:9092,192.168.204.202:9092,192.168.204.203:9092#發(fā)送端 id kafka.producer.client.id = producerDemo#發(fā)送端確認(rèn)模式 kafka.producer.acks = -1#發(fā)送失敗重試次數(shù) kafka.producer.retries = 3#批處理?xiàng)l數(shù),當(dāng)多個(gè)記錄被發(fā)送至統(tǒng)一分區(qū)時(shí)，producer對于同一個(gè)分區(qū)來說，會(huì)按照 batch.size 的大小進(jìn)行統(tǒng)一收集，批量發(fā)送 kafka.producer.batch.size = 4096#與 batch.size 配合使用。延遲統(tǒng)一收集，產(chǎn)生聚合，然后批量發(fā)送至broker kafka.producer.linger.ms = 10# 33554432 即32MB的批處理緩沖區(qū) kafka.producer.buffer.memory = 40960#默認(rèn) topic kafka.producer.defaultTopic = testTopic#key 序列化 kafka.producer.key.serializer = org.apache.kafka.common.serialization.StringSerializer#value 序列化 kafka.producer.value.serializer = org.apache.kafka.common.serialization.StringSerializer################## kafkaListener Consumer 消費(fèi)端配置 ###################消費(fèi)端 brokers 集群 kafka.consumer.bootstrap.servers = 192.168.204.201:9092,192.168.204.202:9092,192.168.204.203:9092#消費(fèi)者 group.id 組ID kafka.consumer.group.id = test-group#消費(fèi)者消費(fèi)消息后，進(jìn)行自動(dòng)提交(offsets偏移量) kafka.consumer.enable.auto.commit = true#自動(dòng)提交的頻率(與 enable.auto.commit = true 屬性配合使用) kafka.consumer.auto.commit.interval.ms = 1000#新的groupid,是否從頭開始消費(fèi) kafka.consumer.auto.offset.reset = earliest#在使用kafka組管理時(shí)，發(fā)送心跳機(jī)制，用于檢測消費(fèi)者故障的超時(shí) #kafka.consumer.session.timeout.ms = 1000#key 反序列化 kafka.consumer.key.deserializer = org.apache.kafka.common.serialization.StringDeserializer#value 反序列化 kafka.consumer.value.deserializer = org.apache.kafka.common.serialization.StringDeserializer#消費(fèi)端消費(fèi)的topic kafka.consumer.topic = testTopic

3. 發(fā)送端 producer-kafka.xml 配置

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsd"><!-- 1.定義producer的參數(shù) --><bean id="producerProperties" class="java.util.HashMap"><constructor-arg><map><entry key="bootstrap.servers" value="${kafka.producer.bootstrap.servers}"/><entry key="client.id" value="${kafka.producer.client.id}"/><entry key="retries" value="${kafka.producer.retries}"/><entry key="batch.size" value="${kafka.producer.batch.size}"/><entry key="linger.ms" value="${kafka.producer.linger.ms}"/><entry key="buffer.memory" value="${kafka.producer.buffer.memory}"/><entry key="acks" value="${kafka.producer.acks}"/><entry key="key.serializer" value="${kafka.producer.key.serializer}"/><entry key="value.serializer" value="${kafka.producer.value.serializer}"/></map></constructor-arg></bean><!-- 2.創(chuàng)建 kafkaTemplate 需要使用的 producerFactory Bean --><bean id="producerFactory" class="org.springframework.kafka.core.DefaultKafkaProducerFactory"><constructor-arg ref="producerProperties"/></bean><!-- 3.創(chuàng)建 kafkaTemplate Bean,使用的時(shí)候只需要注入這個(gè)bean，即可使用kafkaTemplate的 send 消息方法 --><bean id="kafkaTemplate" class="org.springframework.kafka.core.KafkaTemplate"><constructor-arg ref ="producerFactory"/><constructor-arg name="autoFlush" value="true"/><property name="defaultTopic" value="${kafka.producer.defaultTopic}"/></bean></beans>

4. 接收端 consumer-kafka.xml 配置

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://www.springframework.org/schema/beanshttp://www.springframework.org/schema/beans/spring-beans.xsd"><!-- 1.定義 consumer 的參數(shù) --><bean id="consumerProperties" class="java.util.HashMap"><constructor-arg><map><entry key="bootstrap.servers" value="${kafka.consumer.bootstrap.servers}"/><entry key="group.id" value="${kafka.consumer.group.id}"/><entry key="enable.auto.commit" value="${kafka.consumer.enable.auto.commit}"/><entry key="auto.commit.interval.ms" value="${kafka.consumer.auto.commit.interval.ms}"/><entry key="key.deserializer" value="${kafka.consumer.key.deserializer}"/><entry key="value.deserializer" value="${kafka.consumer.value.deserializer}"/><entry key="auto.offset.reset" value="${kafka.consumer.auto.offset.reset}"/></map></constructor-arg></bean><!-- 2.創(chuàng)建 consumerFactory bean --><bean id="consumerFactory" class="org.springframework.kafka.core.DefaultKafkaConsumerFactory"><constructor-arg ref="consumerProperties"/></bean><!-- 3.配置消費(fèi)端 Kafka 監(jiān)聽實(shí)現(xiàn)類(自己實(shí)現(xiàn)) --><bean id="kafkaConsumerListener" class="com.demo.kafkaListener.KafkaConsumerListener"/><!-- 4.消費(fèi)者容器配置 --><bean id="containerProperties" class="org.springframework.kafka.listener.ContainerProperties"><constructor-arg name="topics"><list><value>${kafka.consumer.topic}</value></list></constructor-arg><property name="messageListener" ref="kafkaConsumerListener"/></bean><!-- 5.消費(fèi)者并發(fā)消息監(jiān)聽容器 --><bean id="messageListenerContainer" class="org.springframework.kafka.listener.KafkaMessageListenerContainer"><constructor-arg ref="consumerFactory"/><constructor-arg ref="containerProperties"/></bean></beans>

5. kafka消息監(jiān)聽類

/*** 監(jiān)聽類的實(shí)現(xiàn)*/ public class KafkaConsumerListener implements MessageListener<String,String> {public void onMessage(ConsumerRecord<String, String> stringStringConsumerRecord) {System.out.println("========消費(fèi)端收到消息========");System.out.println(stringStringConsumerRecord.value());//根據(jù)不同主題，消費(fèi)if("主題1".equals(stringStringConsumerRecord.topic())){//邏輯1}else if("主題2".equals(stringStringConsumerRecord.topic())){//邏輯2}}}

6. Controller的實(shí)現(xiàn)

@Controller @RequestMapping("kafka") public class KafkaController {@AutowiredKafkaTemplate kafkaTemplate;/*** 消息發(fā)送*/@RequestMapping("producer")public String producer(){kafkaTemplate.send("testTopic","producer發(fā)送消息");return "success";}}

7. 測試

通過 http://localhsot:8080/kafka/producer
執(zhí)行消息發(fā)送操作，在監(jiān)聽類 KafkaConsumerListener 中完成對消息的消費(fèi)。

8. 項(xiàng)目鏈接：

https://github.com/gb-heima/spring-kafka

總結(jié)

以上是生活随笔為你收集整理的【基于XML方式】Spring整合Kafka的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。