一、當(dāng)前數(shù)據(jù)處理待痛點分析

• 1、當(dāng)前生產(chǎn)環(huán)境因source端數(shù)據(jù)更改，導(dǎo)致后續(xù)計算重新運行情況時有發(fā)生，這樣不僅牽扯開發(fā)精力而且十分消耗資源。
• 2、現(xiàn)有的數(shù)據(jù)處理方式不能更好的面向未來日益增多的需求。
• 3、業(yè)務(wù)線數(shù)據(jù)模型混亂，數(shù)據(jù)使用成本特別高。
• 4、需求驅(qū)動的煙囪式開發(fā)，完全沒有復(fù)用的可能性，計算成本居高不下。
• 5、分析計算后的數(shù)據(jù)下沉到Mysql中，查詢和保障方面不靈活。

二、流批一體化架構(gòu)方案

1、流批一體化架構(gòu)方案分析

目前流批一體化架構(gòu)比較完美的實現(xiàn)方式是采用流計算+交互式分析雙引擎架構(gòu)，在這個架構(gòu)中，流計算負(fù)責(zé)的是基礎(chǔ)數(shù)據(jù)，而交互式分析引擎是中心，流計算引擎對數(shù)據(jù)進行實時ETL工作，與離線相比，降低了ETL過程的latency，交互式分析引擎自帶存儲，通過計算存儲的協(xié)同化，實現(xiàn)高寫入TPS、高查詢QPS和低查詢latency，從而做到全鏈路的實時化和SQL化，這樣就可以用批的方式實現(xiàn)實時分析和按需分析，并能快速的響應(yīng)業(yè)務(wù)的變化，兩者配合，實現(xiàn)1+1>2的效果，

總結(jié)

以上是生活随笔為你收集整理的大数据流批一体化架构设计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。