连载：阿里巴巴大数据实践—数据服务
前言：
-更多關于數智化轉型、數據中臺內容請加入阿里云數據中臺交流群—數智俱樂部 和關注官方微信公總號（文末掃描二維碼或點此加入）
-阿里云數據中臺官網 https://dp.alibaba.com/index
來源：數智化轉型俱樂部
數據部門產出的海量數據，如何能方便高效地開放出去，是我們一直想要解決的難題。在沒有數據服務的年代，數據開放的方式簡單、粗暴，一般是直接將數據導出給對方。這種方式不僅低效，還帶來了安全隱患等諸多問題。
為此，我們在數據服務這個方向上不斷探索和實踐。最早的數據服務雛形誕生于2010年，至今已有7個年頭。在這期間，隨著我們對業務的理解不斷加深，同時也得益于新技術的持續涌現，對數據服務架構也進行了多次升級改造。服務架構的每次升級，均在性能、穩定性、擴展性等方面有所提升，從而能更好地服務于用戶。
1．服務架構的演進
阿里數據服務架構演進過程如圖6.1所示。基于性能、擴展性和穩定性等方面的要求，我們不斷升級數據服務的架構，依次經歷了內部代號為DWSOA、OpenAPI、SmartDQ和OneService的四個階段。
阿里數據服務架構演進過程
其中，第四個階段是統一的數據服務層（即OneService）。大家心里可能會有疑問：SQL并不能解決復雜的業務邏輯啊。確實，SmartDQ其實只滿足了簡單的查詢服務需求。我們遇到的場景還有這么幾類：個性化的垂直業務場景、實時數據推送服務、定時任務服務。所以OneService主要是提供多種服務類型來滿足用戶需求，分別是OneService-SmartDQ、OneService-Lego、OneService-iPush、OneService-uTiming。
在OneService階段，開始真正走向平臺化。我們提供數據服務的核心引擎、開發配置平臺以及門戶網站。數據生產者將數據入庫之后，服務提供者可以根據標準規范快速創建服務、發布服務、監控服務、下線服務，服務調用者可以在門戶網站中快速檢索服務，申請權限和調用服務。
2．技術架構
- SmartDQ
SmartDQ的元數據模型架構示意圖
SmartDQ的元數據模型，簡單來說，就是邏輯表到物理表的映射。自底向上分別是：
（1）數據源：SmartDQ支持跨數據源查詢，底層支持接入多種數據源，比如MySQL、HBase、OpenSearch等。
（2）物理表：物理表是具體某個數據源中的一張表。每張物理表都需要指明主鍵由哪些列組成，主鍵確定后即可得知該表的統計粒度。
（3）邏輯表：邏輯表可以理解為數據庫中的視圖，是一張虛擬表，也可以看作是由若干主鍵相同的物理表構成的大寬表。SmartDQ對用戶展現的只是邏輯表，從而屏蔽了底層物理表的存儲細節。
（4）主題：邏輯表一般會掛載在某個主題下，以便進行管理與查找。
- iPush
iPush應用架構示意圖
iPush應用產品是一個面向TT、MetaQ等不同消息源，通過定制過濾規則，向Web、無線等終端推送消息的中間件平臺。iPush核心服務器端基于高性能異步事件驅動模型的網絡通信框架Netty 4實現，結合使用Guava緩存實現本地注冊信息的存儲，Filter與Server之間的通信采用Thrift異步調用高效服務實現，消息基于Disruptor高性能的異步處理框架（可以認為是最快的消息框架）的消息隊列，在服務器運行中Zookeeper實時監控服務器狀態，以及通過Diamond作為統一的控制觸發中心。
- Lego
Lego被設計成一個面向中度和高度定制化數據查詢需求、支持插件機制的服務容器。它本身只提供日志、服務注冊、Diamond配置監聽、鑒權、數據源管理等一系列基礎設施，具體的數據服務則由服務插件提供。基于Lego的插件框架可以快速實現個性化需求并發布上線。
Lego采用輕量級的Node.JS技術棧實現，適合處理高并發、低延遲的IO密集型場景，目前主要支撐用戶識別發碼、用戶識別、用戶畫像、人群透視和人群圈選等在線服務。底層根據需求特點分別選用Tair、HBase、ADS存儲數據。
uTiming
uTiming是基于在云端的任務調度應用，提供批量數據處理服務。uTiming-scheduler負責調度執行SQL或特定配置的離線任務，但并不直接對用戶暴露任務調度接口。用戶使用數據超市工具或Lego API建立任務。注：本書中出現的部分專有名詞、專業術語、產品名稱、軟件項目名稱、工具名稱等，是淘寶（中國）軟件有限公司內部項目的慣用詞語，如與第三方名稱雷同，實屬巧合。
節選自《大數據之路：阿里巴巴大數據實踐》已受版權保護，未經授權不得轉載
連載：阿里巴巴大數據實踐—數據開發平臺>>
連載：阿里巴巴大數據實踐—實時技術>>
連載：阿里巴巴大數據實踐—數據服務>>
數據中臺是企業數智化的新基建，阿里巴巴認為數據中臺是集方法論、工具、組織于一體的，“快”、“準”、“全”、“統”、“通”的智能大數據體系。目前正通過阿里云數據中臺解決方案對外輸出，包括零售、金融、互聯網、政務等領域，其中核心產品有：
- Dataphin，一站式、智能化的數據構建及管理平臺；
- Quick BI，隨時隨地 智能決策；
- Quick Audience，全方位洞察、全域營銷、智能增長；
- Quick A+， 跨多端全域應用體驗分析及洞察的一站式數據化運營平臺；
官方站點：
數據中臺官網 https://dp.alibaba.com
原文鏈接：https://developer.aliyun.com/article/771049?
版權聲明：本文內容由阿里云實名注冊用戶自發貢獻，版權歸原作者所有，阿里云開發者社區不擁有其著作權，亦不承擔相應法律責任。具體規則請查看《阿里云開發者社區用戶服務協議》和《阿里云開發者社區知識產權保護指引》。如果您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將立刻刪除涉嫌侵權內容。總結
以上是生活随笔為你收集整理的连载：阿里巴巴大数据实践—数据服务的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 连载：阿里巴巴大数据实践—数据建模综述
- 下一篇： 云原生时代，微服务如何演进？