赠书 | 华为数据底座的整体架构与建设策略
作者 | 華為公司數據管理
責編 | 晉兆雨
頭圖 | 付費下載于視覺中國
*文末有贈書
在從信息化向數字化轉型的過程中,企業積累了海量的數據,并且還在爆發式地增長。數據很多,但真正能產生價值的數據卻很少。數據普遍存在分散、不拉通的問題,缺乏統一的定義和架構,找到想要的、能用的數據越來越難。
本文將講述華為數據底座的總體架構和建設策略。
非數字原生企業數字化轉型的數據底座建設框架
華為通過建設數據底座,將公司內外部的數據匯聚在一起,對數據進行重新組織和聯接,讓數據有清晰的定義和統一的結構,并在尊重數據安全與隱私的前提下,讓數據更易獲取,最終打破數據孤島和壟斷。通過數據底座,主要可以實現如下目標。
統一管理結構化、非結構化數據。將數據視為資產, 能夠追溯數據的產生者、業務源頭以及數據的需求方和消費者等。
打通數據供應通道,為數據消費提供豐富的數據原材料、半成品以及成品,滿足公司自助分析、數字化運營等不同場景的數據消費需求。
確保公司數據完整、一致、共享。監控數據全鏈路下的各個環節的數據情況,從底層數據存儲的角度,診斷數據冗余、重復以及“僵尸”問題,降低數據維護和使用成本。
保障數據安全可控。基于數據安全管理策略,利用數據權限控制,通過數據服務封裝等技術手段,實現對涉密數據和隱私數據的合法、合規地消費。
華為數據底座的總體架構
華為數據底座由數據湖、數據主題聯接兩層組成,將公司內外部的數據匯聚到一起,并對數據進行重新的組織和聯接,為業務可視化、分析、決策等提供數據服務,如圖1 所示。
圖1 華為數據底座總體架構
數據湖是邏輯上各種原始數據的集合,除了“原始”這一特征外,還具有“海量”和“多樣”(包含結構化、非結構化數據)的特征。數據湖保留數據的原格式,原則上不對數據進行清洗、加工,但對于數據資產多源異構的場景需要整合處理,并進行數據資產注冊。
數據入湖必須要遵循 6 項標準,共同滿足數據聯接和用戶數據消費需求。具體細節本文將不展開,感興趣的讀者可以閱讀華為官方出版的《華為數據之道》。
數據主題聯接是對數據湖的數據按業務流 / 事件、對象 / 主體進行聯接和規則計算等處理,形成面向數據消費的主題數據,具有多角度、多層次、多粒度等特征,支撐業務分析、決策與執行。基于不同的數據消費訴求,主要有多維模型、圖模型、指標、標簽、算法模型 5 種數據聯接方式。
?
華為數據底座的建設策略
數據底座建設不能一蹴而就,要從業務出發,因勢利導,持續進行。具體來說,華為數據底座采取“統籌推動、以用促建、急用先行”的建設策略,根據公司數字化運營的需要,由公司數據管理部統一規劃,各領域分別建設,以滿足本領域和跨領域的數據需求。其中,數據 Owner 是各領域數據底座建設的第一責任人,各領域數據部負責執行。數據底座資產建設遵從下面四項原則。
1)數據安全原則
數據底座數據資產應遵循用戶權限、數據密級、隱私級別等管理要求,以確保數據在存儲、傳輸、消費等全過程中的數據安全。技術手段包括但不限于授權管理、權限控制、數據加密、數據脫敏。
2)需求、規劃雙輪驅動原則
數據底座數據資產基于業務規劃和需求觸發雙驅動的原則進行建設,對核心數據資產優先建設。
3)數據供應多場景原則
數據底座資產供應需根據業務需求提供離線 / 實時、物理 /虛擬等不同的數據供應通道,滿足不同的數據消費場景。
4)信息架構遵從原則
數據底座數據資產應遵從公司的信息架構,必須經 IA-SAG(信息架構專家組)發布并完成注冊。
本文只是提綱挈領地講述了華為數據底座建設的架構與策略,具體實施時,數據湖的建設以及數據主題的聯接是重中之重,關于這兩點內容,本文不展開講,如果您對其中的細節感興趣,推薦您詳細閱讀華為官方出版的《華為數據之道》。
#歡迎留言在評論區和我們討論#
看完本文,對于數據底座建設你有什么想說的?
歡迎在評論區留言
我們將在?11?月 25?日精選出 3 條優質留言
贈送華為官方出品《華為數據之道》紙質書籍一本哦!
更多閱讀推薦
大神們都是如何在時間序列中進行特征提取的?看完就懂了!
如何破解“中國開源拿來主義”?包云崗的幾點分析
打錢!我的數據庫被黑客勒索了!
贈書 | 圖像分類問題建模方案探索實踐
Value DeFi遭黑客攻擊始末,閃電貸這次又帶走了700萬美元
總結
以上是生活随笔為你收集整理的赠书 | 华为数据底座的整体架构与建设策略的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 边缘计算助力云游戏成为5G时代的杀手级应
- 下一篇: 关于低代码真实技术趋势,听低代码巨头 M