Dataphin的代码自动化能力如何助力商业决策
前言
隨著大數據趨勢的迅速增長,數據的重要性與日俱增,企業內看數據、用數據的訴求越來越強烈,其中最常見的就是各種經營報表數據:
老板每日早晨9點準時需要看到企業核心的經營數據,以便進行企業戰略及方向決策
業務負責人不定期進行個性化的項目籌劃,需要多維、及時的效果數據以優化項目安排
小二精準營銷活動開展,需要和高層一致但粒度不同的經營分析數據,并進行活動策略調整
……
舉個經營報表的例子如下:
這個例子并不復雜,但是對于分析師或者業務開發者,實際執行的復雜度和工作量并不小,而且類似的工作每日都在重復……業務發展越快,帶來的問題就越來越多:
- 加工時間長、人工成本高,招再多的分析師也難以滿足需求;
- 代碼可讀性差,數據可維護性差,類似需求需要反復、重復開發;
- 代碼開發不規范,加工過程中難以避免的計算存儲浪費;
- 得到的數據指標,復用性差導致重復建設,數據越來越不標準規范;
- 這種情況下對業務的直接影響就是:決策周期長(數據需求滿足慢),決策易出錯(數據指標口徑不一致)
Dataphin:讓“指標計算器”代替“代碼編輯器”
既要保證數據生產時效性——及時產出數據并滿足需求,又要支持數據多樣性——企業自下而上不同業務分析場景,最后還要保證數據準確性——任何時間、不同崗位的人都能用同樣的數據解讀經營情況,怎么才能做到呢?
企業的發展加速,離不開20世紀的文檔管理轉到21世紀的信息管理。同樣的,如果繁復的指標代碼編寫工作,也可以如計算器一般,界面可視化點選,復雜的代碼研發過程由計算器自行處理完成,就好了。
而Dataphin基于One Data - One Model能力,就可以充分實現這個能力!
Step 1 選擇組合條件
如下圖,確定需要統計計算的值,Dataphin里稱為“原子指標”——最小的數據值統計單元,比如用戶數這樣的統計值等,然后組合如下內容:
A. 統計計算值需要應用的分析對象,Dataphin里稱為“統計粒度”——維度或維度的組合,比如用戶星級、用戶狀態等;
B. 數據統計計算的時間周期,Dataphin里稱為“統計周期”——統計數據需要跨越的時間長度,比如最近1天、最近30天、自然周、自然月的等;
C. 數據統計的其他個性化限定條件,Dataphin里稱為“業務限定”——數據記錄的篩選過濾條件,比如生鮮業務類型、PC端、女性等。
Step 2 預覽指標
選擇完畢組合條件后,可以預覽組合出來的派生指標:
1)組合的指標,默認名取“原子指標+時間周期+業務限定”組合名,保證命名標準規范。
2)歷史已生成的組合,不再生成,保證指標建設統一,無重復
Step 3 一鍵自動化生成!
確認需要提交的指標后,一鍵【提交】,分鐘級指標生成:
1)自動匯聚至以“統計粒度為主題”的匯總邏輯表表下,保證管理標準規范;
2)代碼和調度依賴關系,系統自動生成;
3)派生指標基于匯總邏輯表,可快速雪花模型查詢使用指標、分析對象的屬性信息。
①派生指標自動匯聚至匯總邏輯表
②派生指標所在匯總表節點,代碼及調度關系自動生成
③匯總表及派生指標可查詢消費
Step 4 復雜需求實現
上面主要是基于簡單統計指標實現,實際上,報表需求還有類似 比率型、乘積型等復合統計方式,比如“客單價=銷售額/客戶數”,這類也可以通過Dataphin的衍生原子指標實現:
1)衍生原子指標是基于原子指標的再組合;
2)基于衍生原子指標新建派生指標時,需要保證拆解到最細粒度的原子指標,有相同的分析維度、時間周期,允許維度的計算路徑不同、設置的業務限定不同。
①新建衍生原子指標
②基于衍生原子指標新建派生指標
Dataphin:“指標計算器”背后的故事
上面步驟可以看到,派生指標的計算生成,離不開原子指標、業務限定、統計粒度的協助,這其中有什么奧秘呢?
其實很簡單,用Dataphin高效創建派生指標,掌握這1張圖就夠了:
1)原子指標為核心,原子指標的來源表為中心
2)統計粒度取自來源表的關聯維度,以及關聯維度上的關聯維度
3)業務限定基于來源表為中心的雪花模型做定義
4)統計周期可任意搭配使用
總結:One Model,One Dream
Dataphin作為阿里巴巴數據中臺原創產品,從設計之初就決心為業務價值而生!
其中的智能研發版以One Data - One Model的方法論為指導,致力于統一的數據構建與管理:
指標【標準化】,保證數據研發的【一致性與效率】
【拖拽式】數據模型設計+【自動化代碼】開發=高效的【數據研發生產力】
從而幫助企業充分發揮數據價值、實現業務價值:
100%消除二義性:根據【選擇條件】組合,【批量生成】統計指標
分鐘級自動化代碼生成:【可視化設計】編輯邏輯表星型模型/雪花模型,【設計提交】自動化生成代碼(設計即開發)
希望不遠的未來,每個企業都可以基于Dataphin做出最高效、最全面、最正確的決定!
結語:
阿里巴巴數據中臺團隊,致力于輸出阿里云數據智能的最佳實踐,助力每個企業建設自己的數據中臺,進而共同實現新時代下的智能商業!
阿里巴巴數據中臺解決方案,核心產品:
Dataphin,以阿里巴巴大數據核心方法論OneData為內核驅動,提供一站式數據構建與管理能力;
Quick BI,集阿里巴巴數據分析經驗沉淀,提供一站式數據分析與展現能力;
Quick Audience,集阿里巴巴消費者洞察及營銷經驗,提供一站式人群圈選、洞察及營銷投放能力,連接阿里巴巴商業,實現用戶增長。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的Dataphin的代码自动化能力如何助力商业决策的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: GMTC2019|闲鱼-基于Flutte
- 下一篇: 蚂蚁金服自研数据库OceanBase如何