kafka+flink集成

1.目的

1.1 Flink簡(jiǎn)介

Apache Flink是一個(gè)面向數(shù)據(jù)流處理和批量數(shù)據(jù)處理的可分布式的開(kāi)源計(jì)算框架，它基于同一個(gè)Flink流式執(zhí)行模型（streaming execution model），能夠支持流處理和批處理兩種應(yīng)用類(lèi)型。
flink特性

支持批處理和數(shù)據(jù)流程序處理
優(yōu)雅流暢的支持java和scala api
同時(shí)支持高吞吐量和低延遲
支持事件處理和無(wú)序處理通過(guò)SataStream API，基于DataFlow數(shù)據(jù)流模型
在不同的時(shí)間語(yǔ)義(時(shí)間時(shí)間，處理時(shí)間)下支持靈活的窗口(時(shí)間，技術(shù)，會(huì)話(huà)，自定義觸發(fā)器)
僅處理一次的容錯(cuò)擔(dān)保
自動(dòng)反壓機(jī)制
圖處理(批) 機(jī)器學(xué)習(xí)(批) 復(fù)雜事件處理(流)
在dataSet(批處理)API中內(nèi)置支持迭代程序(BSP)
高效的自定義內(nèi)存管理，和健壯的切換能力在in-memory和out-of-core中
兼容hadoop的mapreduce和storm

1.2 Flink應(yīng)用場(chǎng)景

事件驅(qū)動(dòng)的應(yīng)用程序
數(shù)據(jù)分析應(yīng)用

總結(jié)

以上是生活随笔為你收集整理的kafka+flink集成实例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。