云棲號案例庫：【點(diǎn)擊查看更多上云案例】
不知道怎么上云？看云棲號案例庫，了解不同行業(yè)不同發(fā)展階段的上云方案，助力你上云決策！

概述

中郵智遞數(shù)據(jù)平臺發(fā)展到現(xiàn)在經(jīng)歷了四個(gè)階段:

(1) 直接在業(yè)務(wù)生產(chǎn)系統(tǒng)開發(fā)生成報(bào)表,提供業(yè)務(wù)部門查詢
(2) 采用kettle等工具抽取各業(yè)務(wù)系統(tǒng)數(shù)據(jù)并處理生成報(bào)表
(3) 使用hive構(gòu)建離線數(shù)據(jù)倉庫,抽取業(yè)務(wù)數(shù)據(jù)統(tǒng)一處理并生成報(bào)表推送至報(bào)表系統(tǒng)
(4) canal+kafka+tidb構(gòu)建實(shí)時(shí)數(shù)倉進(jìn)行實(shí)時(shí)OLAP分析,spark streaming+kafka+redis構(gòu)建實(shí)時(shí)數(shù)據(jù)展示

最近我們在嘗試把現(xiàn)在ECS主機(jī)上的系統(tǒng)和服務(wù)遷移到阿里云的大數(shù)據(jù)平臺中,例如數(shù)加和datav。以及使用ADB實(shí)現(xiàn)實(shí)時(shí)OLAP達(dá)到低延遲,高并發(fā)。

數(shù)加使用實(shí)例

我們將數(shù)據(jù)倉庫一個(gè)非關(guān)鍵主題-基點(diǎn)模型的全部業(yè)務(wù)鏈路遷移到數(shù)加中,使用數(shù)加的數(shù)據(jù)集成可以進(jìn)行數(shù)據(jù)加載和數(shù)據(jù)導(dǎo)出,數(shù)據(jù)開發(fā)可以進(jìn)行數(shù)據(jù)倉庫模型開發(fā)。能夠進(jìn)行調(diào)度依賴配置和血緣關(guān)系、生命周期管理，如圖1所示。

數(shù)加的運(yùn)維中心能夠查看任務(wù)的運(yùn)行情況,與歷史運(yùn)行情況的對比。以及查看具體的任務(wù)運(yùn)行日志、配置告警監(jiān)控，能夠完美替換類似azkaban，airflow等工作流調(diào)度工具，如圖2，3所示：

?

圖1

?

圖2

?

圖3

數(shù)加數(shù)據(jù)集成模塊自帶各種數(shù)據(jù)源的接入,包括阿里云的各種組件以及一些常用的數(shù)據(jù)源。滿足從關(guān)系數(shù)據(jù)庫,現(xiàn)有大數(shù)據(jù)平臺,nosql等數(shù)據(jù)源接入和導(dǎo)出數(shù)據(jù)。結(jié)構(gòu)清楚，配置簡單，避免了以前接入異構(gòu)數(shù)據(jù)需要開發(fā)多種接入程序的問題。如圖4所示。

?

圖4

數(shù)加數(shù)據(jù)開發(fā)模塊可以完成離線數(shù)據(jù)倉庫hive的模型開發(fā)功能，如圖5所示。數(shù)據(jù)管理模塊可以查看數(shù)據(jù)開發(fā)概覽，元數(shù)據(jù)管理、權(quán)限管理、血緣關(guān)系管理、查找數(shù)據(jù),如圖6所示。也可以通過客戶端操作odps的數(shù)據(jù)，如圖7所示。

?

圖5

?

圖6

?

圖7

datav使用實(shí)例

中郵智遞以前的實(shí)時(shí)數(shù)據(jù)大屏展示是由數(shù)據(jù)開發(fā)使用spark streaming+redis+前端開發(fā)的模式來完成的,優(yōu)點(diǎn)是自定義程度比較高,前端同事可以使用各種圖表框架進(jìn)行數(shù)據(jù)實(shí)時(shí)展示，權(quán)限接入和業(yè)務(wù)系統(tǒng)接入也能完美兼容我們現(xiàn)在的統(tǒng)一系統(tǒng)接入平臺。缺點(diǎn)當(dāng)然也很明顯，每次任務(wù)開發(fā)需要前端參與開發(fā)，需要占用前端開發(fā)資源，迭代的時(shí)效性也比較差。特別是一些非長期型的實(shí)時(shí)展示項(xiàng)目，需要快速迭代上線，一定時(shí)間周期之后會廢棄。例如短期活動開展,類似雙11營銷活動，以前的開發(fā)模式就不是很適用。Datav可以同步簡單配置使用各種圖表和特性,非前端開發(fā)人員通過配置就能使用地圖、散點(diǎn)圖、柱狀圖、飛線，并將生成的圖標(biāo)發(fā)布到現(xiàn)有的統(tǒng)一業(yè)務(wù)接入系統(tǒng).如圖8所示。

?

圖8

云棲號案例庫：【點(diǎn)擊查看更多上云案例】
不知道怎么上云？看云棲號案例庫，了解不同行業(yè)不同發(fā)展階段的上云方案，助力你上云決策！

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的中邮智递通过数加和datav将系统和服务迁移到大数据平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。