Flink从入门到精通100篇(二十一)-Flink 状态(State)管理在推荐场景中的应用
前言
Flink作為純流式大數(shù)據(jù)實(shí)時計算引擎,較于Spark Streaming的微批處理引擎,不管是內(nèi)存管理,多流合并,還是時間窗口,迭代處理上,F(xiàn)link在實(shí)時計算場景更較適合。而Flink的State狀態(tài)管理,更是讓Flink在實(shí)時計算領(lǐng)域,更勝一籌。通過對Flink State狀態(tài)的靈活妙用,可以完美實(shí)現(xiàn)大數(shù)據(jù)下的實(shí)時數(shù)倉,實(shí)時畫像和實(shí)時數(shù)據(jù)監(jiān)控等功能。
場景
最近在做推薦數(shù)據(jù)平臺,其中有一個場景需求是要實(shí)時統(tǒng)計最近1分鐘的UV、點(diǎn)擊量、真實(shí)曝光量和下發(fā)量等熱點(diǎn)數(shù)據(jù),并可以在不同地域維度下做多維度查詢。通過對數(shù)據(jù)的實(shí)時跟蹤監(jiān)控,可以精準(zhǔn)迅速地獲悉推薦算法在不同地域投放后所產(chǎn)生的流量變化,從而優(yōu)化對不同地域下用戶的精準(zhǔn)推薦。
問題&選型
我們在做場景分析的時候,發(fā)現(xiàn)有兩個問題需要解決。
首先是我們的數(shù)據(jù)來自于用戶對App的操作行為日志,在這些埋點(diǎn)數(shù)據(jù)里,有個字段localId(13位數(shù)字組成),該字段記錄了該用戶所在的位置編號,可以精
總結(jié)
以上是生活随笔為你收集整理的Flink从入门到精通100篇(二十一)-Flink 状态(State)管理在推荐场景中的应用的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Python应用实战-如何通过pytho
- 下一篇: python应用实战系列-一文教你深入解