数据中台的使命、愿景、本质和六大核心能力
【轉載 #凱哥講故事系列】
參考技術成熟度曲線,數字化轉型已經進入成熟期,被業界廣泛認知,而數據中臺目前正處于期望膨脹期,即將被很多企業應用和驗證。
數據中臺的愿景和使命
數據中臺成為了數字化轉型的下一個趨勢,那么數據中臺的愿景和使命是什么呢?
?
愿景
數據中臺的終極愿景是什么
?
數據中臺的愿景是打造數據驅動的智能企業
? ? ? ? ? ? ?
?
?
使命
數據中臺為什么存在
?
? ? ? ? ? ? ?
數據中臺的使命是賦能業務以數據智能的能力,讓業務更智慧,為企業創造業務價值
?
?
數據中臺的本質
?
行業里有眾多的數據中臺體系
?
?
阿里數據中臺
?
阿里的數據中臺分為五個模塊,包括:
數據產品:阿里數據,數據大屏,生意參謀;
數據資產管理:從資產地圖,到資產運營;
數據開發管理,從數據采集到應用開發;
智能數據研發:從數倉規劃到監控告警
計算和存儲:包括離線計算和實時計算。
? ? ? ? ? ? ?
?
?
滴滴數據中臺
? ? ? ? ? ? ?
滴滴將數據中臺分為八個模塊:
數據服務交付,精益數據生產,智能數據目錄,敏捷數據創新,數據維護啊,數據系統工具鏈,數據基礎設施。
?
?
蘇寧數據中臺
?
蘇寧的數據中臺體系分為七個模塊:
數據應用,數據應用引擎,數據開發套件,數據倉庫主題,數據治理套件,基礎服務和計算存儲引擎。
? ? ? ? ? ? ?
當我們把業界這些主流的數據中臺架構進行分解,剖析,抽象后,我們就能得出,數據中臺的本質。
?
廣義數據中臺的本質
廣義數據中臺的本質,就是企業數據產品工廠,而這里的數據產品,主要指數據服務。
? ? ? ? ? ? ?
所有的企業都在構建自己的數字化業務體系,而數字化業務的本質就是加工和生產數據,數據成為了每一個企業在數字化世界里的原材料和核心資產。
狹義數據中臺的本質
廣義數據中臺是龐大的,它的構建需要一個演進的過程。但是,如果企業從哪里開始,如何能夠盡快的從數據中獲取價值呢?
?
狹義數據中臺的本質
?
ThoughtWorks認為,狹義數據中臺的核心是Data API。
數據中臺的核心是為前臺提供數據服務,哪怕這個服務的后臺沒有系統支撐,是一個Excel表或者是一個手工填報,只要能讓前臺從數據服務中獲取數據洞察,這就是一個最簡單的數據中臺的服務。
所以,數據中臺是為了前臺的業務敏捷提供數據API的中間層。
?
? ? ? ? ? ? ?
?
數據中臺的六大核心能力
當我們把數據工廠的概念解耦,一一對應到企業數據體系,我們就能解構出數據中臺的六大核心能力,如下圖所示:
? ? ? ? ? ? ?
?
數據資產的規劃和治理
第一是數據戰略
?
數據資產的規劃和治理,是數據中臺的基礎功能,它的目的是為了在構建數據服務,數據產品,數據應用之前,先畫出企業的數據資產藍圖,盡可能的涵蓋企業所有的可能產生和使用的數據,不論是企業內部數據還是外部數據。
數據資產的規劃和治理體系,是企業數據戰略的體現,承載系統是企業級數據資產目錄(Data Asset Catalog)。
并且,ThoughtWorks認為,企業的數據資產不僅包括Raw Data,所有的能夠帶來價值的,從數據中衍生出來的數據產品,數據服務都是數據資產的一部分,企業都要將它們規劃和管理起來。
數據資產的規劃和治理,是從根本上最大限度解決數據孤島(Data Silo)問題的方案,也就是在應用構建,數據產生之前就規劃好數據的產生和消費的數據流體系,從而所有的應用都按照這個規范來執行。
這個部分,對應到數據工廠的辦公室,一般每個工廠都有的戰略規劃部門。
?
?
數據資源的獲取和存儲
第二是圍繞戰略的數據資源管理
?
在企業梳理了構建了自己的數據資產藍圖后,就需要將這些數據資產對應的數據資源進行存儲和存儲,也就是很多企業常說的,“數據入湖”。
數據資源的獲取和存儲,在廣義數據中臺體系里是數據平臺的一部分,不同的企業在不同的階段,可以采用的技術手段是不一樣的,關系型數據庫,大數據平臺,數據湖,乃至最簡單的文件存儲都可以作為數據資源存儲獲取的方式,并不一定要拘泥于一種形式。
這個模塊的核心是數據資源是能夠被按需獲取到的,這也就意味著,哪怕我們不構建獨立的數據存儲,讓數據留在源系統中,只要能夠在需要的時候獲取到,也是可以的。
這個部分,對應到數據工廠的原材料倉庫。
?
?
數據資產的共享和協作
第三是構建企業級數據資產協作體系
?
如何能夠讓企業的業務更智慧,這里最重要的事情就是跨域數據的組合和分析,不同領域的數據的挖掘,整合才能產生人的經驗所不能夠具備的洞察。
數據中臺區別于傳統數據倉庫的一個重要的特點,就是數據中臺是企業的數據服務的協作生產平臺,他是一個能夠讓業務需求人員,數據分析人員這樣的數據使用方和數據工程師,數據管理員這樣的數據提供方在一個平臺上去共同使用同一套企業的數據資產的協作平臺。這里很重要的功能就是企業數據門戶,企業數據目錄和數據版本管理,數據沙箱(Sandbox),數據分級權限體系。
這個部分,對應到數據工廠的協作平臺,也是辦公室的一部分。
?
?
?
業務價值的探索和分析
第四是構建業務價值的探索體系
?
數據中臺是一個數據服務工廠,那么這個工廠應該生產什么服務呢?
就像傳統的工廠都會有一個研發中心一樣,數據中臺需要一個數據實驗室平臺,能夠讓業務人員,數據分析人員,數據科學家們在數據協作平臺上,利用同一套數據進行業務價值的探索和分析,從而識別有價值的數據集,然后在批量生產,形成數據產品和服務。
這部分重要的功能是數據挖掘,數據科學平臺,算法平臺,機器學習平臺等。
這個部分,對應到數據工廠的實驗室,也就是研發中心,研發新產品的部門。
?
?
數據服務的構建和治理
第五是構建快速發布和利用數據服務的體系
?
當有價值的數據服務在實驗室(研發中心)中被識別出來,并且通過協作平臺被驗證,那么這個過程就要被工業化,形成一個數據服務的生產線(Data Pipeline),從而能夠被自動,批量的生產出來,為業務提供按需的服務,這就是數據服務的構建部分。
數據中臺會生產非常多的數據服務,所以,數據中臺同時要提供這么多數據服務的治理功能,從而保證數據服務的全生命周期體系化管理,優化有價值的數據服務,下線過時的數據服務。
這個部分,對應到數據工廠的生產車間和成品倉庫管理。
?
?
?
數據服務的度量和運營
第六是數據服務的價值度量和運營體系
?
傳統的數據倉庫系統往往只關注系統的穩定性,但是并不關注提供的數據報表的使用情況,被應用的如何,是否為業務產生了價值。
而數據中臺作為企業的數據服務工廠,是一個運營數據服務的業務單元,它不僅僅包括技術平臺部分,同時應該包括戰略層,組織層,就像下圖一樣:
? ? ? ? ? ? ?
所以,數據中臺提供的數據服務應該有價值度量和運營體系。比如,每一個服務應該持續的被監控,被分析,被運營,從而保證資源的最優調度和用戶的滿意度。
?
這里的運營就像所有的2B服務的運營體系一樣,應該包括如下基本的運營內容:客戶獲取,服務簽約,服務監控,客戶服務,價值結算,同時也包括增值服務內容,比如客戶關系管理,數據分析,營銷等。
大型企業的數據中臺,會是一個多租戶的生態體系,為所有的數據資產生產者和消費者提供交易的運營平臺。
這個部分,對應到數據工廠的運營體系,包括數據服務交易市場,和監控運維辦公室。
?
數據中臺的建設原則
?
?
數據中臺不是一個產品,需要量身定制
你的數據中臺你做主
?
數據中臺是生產和運營數據服務的工廠,所以數據中臺對應到企業是一個組織單元,是一個產品單元,也就意味著,最終數據中臺是一個數據業務部門,他的產品是業務產品的數據原材料。
這樣的組織單元,是與企業的業務模式,組織結構,發展階段,技術水平,管理水平緊密相關的,所以數據中臺不是一個通用的系統,一定是需要為企業量身定制的,不存在一個標準化的數據中臺產品。
但是,對應到數據中臺的六大核心能力的組件部分,是有不同的產品或開源的方案可以復用的。
?
?
?
數據中臺需要演進式架構
不要期待構建一個大而全的數據中臺
?
由于數據中臺與企業的發展息息相關,所以,它的建設是演進式的,要結合企業戰略規劃和市場變化演進式發展,這就需要它的架構是開放的,柔性的。
總結
以上是生活随笔為你收集整理的数据中台的使命、愿景、本质和六大核心能力的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: VC++速记
- 下一篇: CDH4.0安装及配置(二)配置网易yu