天弘基金作為國內總規(guī)模最大的公募基金，阿里云MaxCompute為我們構建了企業(yè)級一站式大數(shù)據(jù)解決方案。MaxCompute對于海量數(shù)據(jù)的存儲、運維、計算能力強大且安全穩(wěn)定，MaxCompute服務將原本需要清算8小時的用戶交易數(shù)據(jù)縮短至清算1個半小時，同時減少了本地服務器部署壓力，在顯著提升我們工作效率的同時減少了大量開發(fā)成本和人力成本，使我們能更專注于業(yè)務發(fā)展，為用戶提供高品質、高價值的金融服務。

背景：
隨著余額寶用戶數(shù)持續(xù)呈指數(shù)級增長，數(shù)據(jù)量也成倍增長。在這種情況之下，已經無法通過簡單的hadoop集群進行數(shù)據(jù)的管理工作，而業(yè)務端面臨需要通過數(shù)據(jù)了解用戶、分析行為進而對業(yè)務決策和用戶行為進行精準預測。基于這些業(yè)務的需求驅動需要一個大數(shù)據(jù)平臺來承載，我們在對穩(wěn)定性、成本、自身能力和復雜度等進行綜合考量后，決定采用當前最流行和最成熟的云平臺·阿里云MaxCompute。

目標：
搭建大數(shù)據(jù)平臺從技術指標的角度是數(shù)據(jù)存儲和數(shù)據(jù)計算兩大目標，而從各個業(yè)務環(huán)節(jié)的角度看是數(shù)據(jù)采集、數(shù)據(jù)清洗、在線/離線分析與預測、實時/非實時查詢。而業(yè)務目標是為了能夠快速響應業(yè)務需求，能夠為業(yè)務分析提供穩(wěn)定的開發(fā)和建模平臺，為業(yè)務提供邏輯清晰和靈活便捷的可視化平臺。從而實現(xiàn)從數(shù)據(jù)支持業(yè)務到數(shù)據(jù)驅動業(yè)務的逐步升級。

解決方案及架構：

整個架構都是搭建在阿里云上的，該架構是成熟的三層架構：采集層+整合層+應用層。

采集層：
采集層對接了我們幾乎所有的業(yè)務，采集數(shù)據(jù)的頻率有實時的、分鐘級、小時級、日級、月級，支持不同的采集頻率，而且這些都是靈活可配置的。將采集的數(shù)據(jù)通過企業(yè)級的數(shù)據(jù)交換平臺進行存儲和交換，該平臺使用OSS實現(xiàn)。通過OSS可以實現(xiàn)數(shù)據(jù)的中轉、分發(fā)和備份存儲。

整合層：
在MaxCompute整個整合層包含了五大區(qū)：緩沖區(qū)、ODS區(qū)、整合區(qū)、主數(shù)據(jù)和匯總區(qū)。不同的區(qū)域為了實現(xiàn)不同的功能，緩沖區(qū)是為了在正式進入數(shù)倉應用數(shù)據(jù)模塊之前進行數(shù)據(jù)質檢，滿足質檢后方可進行真正的加工處理，避免因為數(shù)據(jù)錯誤污染整個數(shù)倉的數(shù)據(jù)；ODS區(qū)是為了保留源系統(tǒng)格式的數(shù)據(jù)模塊，一方面能夠在有問題時追根溯源，另一方面能夠滿足部分業(yè)務的需要；整合區(qū)是數(shù)據(jù)倉庫的核心區(qū)域，通過主題建模的方式進行數(shù)據(jù)的模型化處理，使得數(shù)據(jù)的解釋口徑具有統(tǒng)一性；主數(shù)據(jù)則是與業(yè)務結合比較緊密的主題數(shù)據(jù)，這樣更方便業(yè)務方的使用；匯總區(qū)則是提前將需要預加工統(tǒng)計的數(shù)據(jù)進行統(tǒng)計計算，避免多次開發(fā)計算帶來的時間成本、開發(fā)成本和計算成本等。

應用層：
應用層主要是通過監(jiān)控、管理看板、報表等可視化系統(tǒng)給業(yè)務提供直觀的數(shù)據(jù)呈現(xiàn)，從而為業(yè)務的決策提供更加有力的數(shù)據(jù)支撐。在應用層通過RDS、ADS、HBase等不同的產品滿足了不同的需求。

對于數(shù)據(jù)倉庫來說是一個比較復雜的系統(tǒng)，需要很多配套的系統(tǒng)輔助才能做好這樣的項目。而其中很多系統(tǒng)在MaxCompute、DataWorks中都已經產品化，大大的簡化了大數(shù)據(jù)平臺的搭建和運維，提供了一站式的解決方案，而且通過阿里云MaxCompute、Dataworks能夠實現(xiàn)敏捷開發(fā)、快速響應、輕量化運維、低成本的實現(xiàn)大數(shù)據(jù)平臺架構。其中包括最核心的調度系統(tǒng)、權限管理、元數(shù)據(jù)管控、數(shù)據(jù)安全保護傘等等一系列功能。而在使用中，數(shù)據(jù)分析師能夠快速上手完成數(shù)據(jù)的加工和分析。

業(yè)務價值案例：

收益王者：
收益王者產品幫助廣大用戶追蹤頭部用戶的交易行為，使用用戶自身數(shù)據(jù)來影響用戶心智，滿足了用戶的窺私欲、攀比欲。該產品為用戶提供了投顧化的數(shù)據(jù)服務，為公司提升了用戶粘性及交易轉化，在2018年實現(xiàn)銷量數(shù)億元。在開發(fā)過程中，MaxCompute幫助我們快速、精準地處理海量用戶交易數(shù)據(jù)，為該產品數(shù)據(jù)的準確性、穩(wěn)定性、及時性提供了有力的保障。

產品AI推薦：

我們根據(jù)用戶自身屬性、交易行為、資產屬性以及與他類似的用戶的產品關注和交易行為，預測每位用戶當前最感興趣的基金。產品AI推薦與傳統(tǒng)的僅從市場出發(fā)的產品推薦不同，我們從用戶的角度，根據(jù)用戶的行為數(shù)據(jù)，做出千人千面的產品推薦，提升了用戶體驗，并提升了交易轉化率。在特征加工、模型開發(fā)、預測結果投入使用的過程中，Dataworks為我們提供了整套技術架構，包括算力強大的MaxCompute、組件豐富的PAI機器學習平臺以及ADS、RDS等產品，滿足了我們各方各面的需求。

歡迎加入“MaxCompute開發(fā)者社區(qū)2群”,點擊鏈接申請加入或掃描二維碼
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

原文鏈接
本文為云棲社區(qū)原創(chuàng)內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的天弘基金交易数据清算从8小时缩至1.5小时 解决余额宝算力难题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。