Apache Storm:如何使用Flux配置KafkaBolt
生活随笔
收集整理的這篇文章主要介紹了
Apache Storm:如何使用Flux配置KafkaBolt
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
微型框架中的助焊劑可以幫助我們定義和部署Storm拓撲。
Flux有各種包裝器,可幫助您定義所需的流并初始化Bolts和Spouts(使用帶有或不帶有參數的構造函數,并通過反射自動調用自定義配置方法)。
您只需要使用Flux就是將其作為依賴項添加到“ pom.xml”中,通過單個YAML文件進行配置(請檢查助焊劑示例 ),然后將其用作主類以在Storm集群中部署拓撲(或作為本地測試)。
為了初始化KafkaBolt ,需要執行以下步驟:
KafkaBolt的最小Flux配置示例:
components:- id: "stringScheme"className: "org.apache.storm.kafka.StringScheme"- id: "stringMultiScheme"className: "org.apache.storm.spout.SchemeAsMultiScheme"constructorArgs:- ref: "stringScheme"- id: "zkHosts"className: "org.apache.storm.kafka.ZkHosts"constructorArgs:- "localhost:2181"- id: "topicSelector"className: "org.apache.storm.kafka.bolt.selector.DefaultTopicSelector"constructorArgs:- "myTopicName"- id: "kafkaMapper"className: "org.apache.storm.kafka.bolt.mapper.FieldNameBasedTupleToKafkaMapper"- id: "kafkaProducerProps"className: "java.util.Properties"configMethods:- name: "put"args:- "bootstrap.servers"- "localhost:9092"- name: "put"args:- "acks"- "1"- name: "put"args:- "key.serializer"- "org.apache.kafka.common.serialization.StringSerializer"- name: "put"args:- "value.serializer"- "org.apache.kafka.common.serialization.StringSerializer" bolts: - id: "bolt-kafka"className: "org.apache.storm.kafka.bolt.KafkaBolt"parallelism: 1configMethods:- name: "withProducerProperties"args: [ref: "kafkaProducerProps"]- name: "withTopicSelector"args: [ref: "topicSelector"]- name: "withTupleToKafkaMapper"args: [ref: "kafkaMapper"]streams:- name: "spout --> kafkaBolt"from: "spout-1"to: "bolt-kafka"grouping:type: LOCAL_OR_SHUFFLE有關完整的工作配置示例,請選中此項 ,可以像這樣使用 。
在Storm上部署拓撲的示例命令:
storm jar target/sentiment-analysis-storm-0.0.1-SNAPSHOT.jar org.apache.storm.flux.Flux --remote --c nimbus.host=192.168.1.200 src/test/resources/flux/topology_kafka.yamlKafkaSpout的助焊劑配置已作為官方助焊劑示例進行了描述。 Flux是一個非常有用的框架,它消除了定義和初始化拓撲所需的自定義代碼
翻譯自: https://www.javacodegeeks.com/2016/05/apache-storm-configure-kafkabolt-flux.html
總結
以上是生活随笔為你收集整理的Apache Storm:如何使用Flux配置KafkaBolt的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 牧马人电脑(牧马人电脑外设)
- 下一篇: winxp系统如何运行桌面清理向导