建设数据中台之前,建议先看这份企业数据能力测评 | 大咖说中台
作者 | 耿立超
來源 |?《大數(shù)據(jù)平臺架構(gòu)與原型實現(xiàn):數(shù)據(jù)中臺建設實戰(zhàn)》
“我的企業(yè)目前在數(shù)據(jù)應用上處于什么水平?接下來應該朝哪個方向努力?”本文試圖幫助企業(yè)決策者和IT負責人解答這一問題。
今天,數(shù)據(jù)之于企業(yè)的重要性已經(jīng)勿須多言,建設數(shù)據(jù)驅(qū)動型企業(yè)已成為眾多企業(yè)的戰(zhàn)略目標之一。在這一趨勢的引領下,很多企業(yè)開始了新一代數(shù)據(jù)平臺(例如數(shù)據(jù)中臺)的建設工作,然而在啟動這一具有挑戰(zhàn)性的工作之前,企業(yè)首先需要冷靜客觀地審視一下自己的數(shù)據(jù)生態(tài),弄清楚目前所處的能力水平,以及下一步努力的“方向”。
只有這樣才能確保后續(xù)工作沿著正確的方向展開,這可能也是企業(yè)在構(gòu)建全新的大數(shù)據(jù)平臺或數(shù)據(jù)中臺前最先需要弄清楚的問題。本文將就這一命題展開詳細論述。
本文核心觀點援引自作者所著的《大數(shù)據(jù)平臺架構(gòu)與原型實現(xiàn):數(shù)據(jù)中臺建設實戰(zhàn)》一書。
如何度量企業(yè)的數(shù)據(jù)應用能力?
企業(yè)的數(shù)據(jù)應用能力決定了企業(yè)在“數(shù)據(jù)”這座金礦中所能攫取的價值大小,既然是一種能力,就會有強有弱,有高有低,收集并統(tǒng)一存儲數(shù)據(jù)只是建立良好數(shù)據(jù)生態(tài)的第一步,數(shù)據(jù)背后的真正“價值”需要通過專業(yè)的手段進行挖掘才能獲取。
“如果數(shù)據(jù)是燃料,那么分析就是引擎”,對于一家企業(yè)而言既要儲備燃料,也要裝配引擎,只有同時具備了數(shù)據(jù)和分析能力才能從數(shù)據(jù)中提煉出有價值的信息。為了清晰地度量企業(yè)在數(shù)據(jù)應用上的能力水平,我們對數(shù)據(jù)應用涉及的多個方面進行了歸納和總結(jié),得到一個“企業(yè)數(shù)據(jù)應用能力成熟度模型”:
圖1?企業(yè)數(shù)據(jù)應用能力成熟度模型
在這個模型中,我們引入四個等級和兩個維度來度量企業(yè)的數(shù)據(jù)應用能力:
1、第一層級:數(shù)據(jù)流程自動化?
數(shù)據(jù)流程自動化指的是數(shù)據(jù)從產(chǎn)生的源頭到使用的末端是全自動的流程,中間沒有手工操作,全部通過系統(tǒng)間的對接完成。可能有的讀者會認為這一能力不足以成為一個獨立的等級,因為大多數(shù)高度信息化的企業(yè)都已實現(xiàn)了系統(tǒng)間的集成,即使是以最原始的文件形式交換數(shù)據(jù)也實現(xiàn)了流程自動化,然而在很多企業(yè)中,實際的情況卻并非如大家想象中那樣理想。
現(xiàn)實中企業(yè)的數(shù)據(jù)來源豐富多樣,既有自身業(yè)務系統(tǒng)產(chǎn)生的數(shù)據(jù),也有外部系統(tǒng)和供應商提供的數(shù)據(jù),還有業(yè)務人員日常手工維護的大量表格和純文本數(shù)據(jù),很多企業(yè)可能已經(jīng)完成了對自有應用系統(tǒng)的自動化數(shù)據(jù)采集與處理,但是對于大量的外部數(shù)據(jù)和業(yè)務人員手工維護的數(shù)據(jù)往往還沒有建立起有效的自動化處理機制,這些數(shù)據(jù)往往有這樣一些特點:
格式不規(guī)范;
經(jīng)常變動;
缺乏基本的校驗,容易出現(xiàn)錯誤數(shù)據(jù);
數(shù)據(jù)供給周期不固定。
這些原因?qū)е铝诉@類數(shù)據(jù)很難被自動化獲取和處理,而很多時候這些數(shù)據(jù)恰恰又是業(yè)務流程閉環(huán)中的重要組成部分,缺失這些數(shù)據(jù)會導致無法進行分析或極大影響結(jié)果的準確性。造成這類數(shù)據(jù)大量存在的原因有兩點:
企業(yè)的信息化程度依然不夠,在業(yè)務的某些局部環(huán)節(jié)或領域存在系統(tǒng)空白,從而需要業(yè)務人員手工介入,以文件和表格的方式維護數(shù)據(jù);
企業(yè)的數(shù)據(jù)資產(chǎn)意識不足,對數(shù)據(jù)規(guī)范化的重視程度不夠,缺乏一些管控和約束機制。
相應的,企業(yè)實現(xiàn)數(shù)據(jù)流程高度自動化需要做好如下幾點:
持續(xù)進行企業(yè)信息化改造和升級,將IT系統(tǒng)覆蓋到企業(yè)的全部業(yè)務流程中,這可以在很大程度上避免手工維護數(shù)據(jù)的情況發(fā)生,因為當所有的業(yè)務流程都通過IT系統(tǒng)來驅(qū)動時,數(shù)據(jù)會自然沉淀到系統(tǒng)的后臺數(shù)據(jù)庫中,且這些數(shù)據(jù)都已經(jīng)過了系統(tǒng)的校驗和規(guī)范化處理,質(zhì)量已得到大幅提升,同時也能方便地被提取出來放入數(shù)據(jù)平臺;
從企業(yè)管理層開始建立“數(shù)據(jù)資產(chǎn)”意識,成立專門的數(shù)據(jù)治理組織,有計劃地規(guī)范和治理企業(yè)的數(shù)據(jù)生態(tài),對于重要的數(shù)據(jù)要制定統(tǒng)一而規(guī)范的格式,避免對數(shù)據(jù)格式進行隨意改動。
2、第二層級:報表與數(shù)據(jù)可視化
在收集到足夠多的企業(yè)數(shù)據(jù)后,就可以開展常規(guī)報表和數(shù)據(jù)可視化的開發(fā)工作了,這是目前多數(shù)傳統(tǒng)企業(yè)所處的階段,它們通過傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)收集并整理了大部分的企業(yè)數(shù)據(jù),通過報表工具向業(yè)務和管理人員提供一些常規(guī)的報表,這些報表通常面向生產(chǎn)、供應鏈、銷售、市場、財務等不同的業(yè)務環(huán)節(jié),在時間粒度上最細可達daily級別。數(shù)據(jù)的展示形式多以表格為主,同時也會借助報表工具進行圖形化展示。
過去,報表大多在PC端展示,隨著移動應用的興起,開始出現(xiàn)越來越多面向企業(yè)用戶開發(fā)的手機APP和微信小程序,在這些終端上提供報表服務正越來越受企業(yè)業(yè)務用戶的歡迎。在這一層級上的企業(yè)對于數(shù)據(jù)處理和分析表現(xiàn)出如下一些特征:
基本上完成了與各個業(yè)務系統(tǒng)的對接,數(shù)據(jù)能被自動化采集;
已經(jīng)建立了數(shù)據(jù)倉庫體系,企業(yè)數(shù)據(jù)可以被有效地統(tǒng)一管理;
已經(jīng)開發(fā)了業(yè)務上迫切需要的一些核心報表,業(yè)務對數(shù)據(jù)系統(tǒng)的依賴度高;
依托于成熟的數(shù)倉平臺,新的報表和數(shù)據(jù)展示需求都可以較快地開發(fā)完成并投入使用。
第二層級是很多企業(yè)目前停留的階段,并且可能在這一層級上停留了很多年,因為很多企業(yè)都在這一層級上遇到了“瓶頸”,很難再發(fā)展到下一層級,主要原因有以下三點:
傳統(tǒng)的單體數(shù)倉系統(tǒng)缺乏水平伸縮的能力,已經(jīng)無力應對企業(yè)數(shù)據(jù)爆炸式的增長,不得不放棄或暫緩了對某些新業(yè)務數(shù)據(jù)的集成;
傳統(tǒng)數(shù)倉只能處理關系型數(shù)據(jù),對于越來越多的圖片、視頻和其他非關系型數(shù)據(jù)無能為力,而這些數(shù)據(jù)往往是由新業(yè)務形態(tài)產(chǎn)生的,對于這類數(shù)據(jù)處理能力的缺失會讓企業(yè)錯失新的市場機遇;
傳統(tǒng)數(shù)倉只能進行批量處理,缺乏實時數(shù)據(jù)處理和供給能力。
如果企業(yè)想突破這些瓶頸,就需要將自己的數(shù)據(jù)平臺升級到以大數(shù)據(jù)和AI為技術(shù)核心的新一代數(shù)據(jù)平臺,然后重建數(shù)據(jù)版圖。
3、第三層級:數(shù)據(jù)與業(yè)務融合
在第二層級時,對于數(shù)據(jù)的應用只局限在“描述”業(yè)務上,并沒有使數(shù)據(jù)參與到業(yè)務中,各種報表在業(yè)務用戶的工作中扮演的是一種輔助性角色,對于業(yè)務的影響是通過業(yè)務用戶和管理者在報表的支持下做出的判斷和決策,從成熟度模型上看,這是一種被動和滯后的數(shù)據(jù)應用方式,并沒有充分地發(fā)揮出數(shù)據(jù)蘊含的潛能。
在進入第三層級之后,這個狀況會逐漸被扭轉(zhuǎn),數(shù)據(jù)開始與業(yè)務進行融合,數(shù)據(jù)以及數(shù)據(jù)處理能力將全面參與到業(yè)務流程的各個環(huán)節(jié)中去,從而產(chǎn)生更大的價值。這是一個全新的階段,是數(shù)據(jù)驅(qū)動型企業(yè)在具備了大數(shù)據(jù)處理能力之后,借助AI和機器學習而達到的一種更加智能的企業(yè)信息化水平,在這一層級上企業(yè)將具備如下能力:
數(shù)據(jù)直接賦能業(yè)務,數(shù)據(jù)分析的結(jié)果將直接反饋回業(yè)務系統(tǒng),作為業(yè)務系統(tǒng)某些關鍵性操作的直接輸入;
已對豐富的多維度數(shù)據(jù)進行了融合,可以更加準確地刻畫數(shù)據(jù)背后的“事實”;
已具備實時的數(shù)據(jù)處理能力,可以讓業(yè)務用戶實時掌握業(yè)務動向;
大數(shù)據(jù)平臺已經(jīng)成熟且穩(wěn)定;
已經(jīng)出現(xiàn)基于傳統(tǒng)的機器學習和數(shù)據(jù)挖掘的應用,在某些局部領域開始出現(xiàn)小范圍的深度學習案例。
第三層級看上去有些抽象,我們可以通過一些案例來解讀。例如,會員體系是CRM系統(tǒng)中非常核心的一個功能,其中的會員積分計算是一個邏輯復雜且牽涉數(shù)據(jù)量巨大的操作,消費者的每一筆交易和若干行為都會觸發(fā)積分的計算,傳統(tǒng)的CRM系統(tǒng)很難實現(xiàn)用戶積分的實時計算,基本都是按天進行批量處理,這樣一來,用戶體驗就會變差。
現(xiàn)在很多新的CRM系統(tǒng)都在積極地引入大數(shù)據(jù)的流式計算引擎,通過實時處理用戶交易和行為數(shù)據(jù),確保了用戶積分的及時累加與兌換,大大提升了用戶體驗。這是數(shù)據(jù)與業(yè)務融合的一個非常好的案例,即借助大數(shù)據(jù)的計算能力來實現(xiàn)業(yè)務上的數(shù)據(jù)處理需求。
另一個案例是用戶畫像系統(tǒng),用戶畫像是基于用戶的基本信息,消費記錄,社交行為等多種數(shù)據(jù)進行數(shù)據(jù)建模之后,通過算法生成的關于用戶的一套標簽體系,這些標簽全面刻畫了用戶的特征和屬性,因此被稱為“用戶畫像”。用戶畫像系統(tǒng)在CRM、精準營銷和以用戶為中心的產(chǎn)品與服務創(chuàng)新上發(fā)揮著重要作用,是很多2C端企業(yè)非常看重的一類系統(tǒng),同時它也是典型的大數(shù)據(jù)系統(tǒng),但功能和定位又是業(yè)務性極強的應用系統(tǒng)。
從第二層躍升到第三層時,企業(yè)的數(shù)據(jù)基礎設施會面臨一次脫胎換骨的革新,傳統(tǒng)的關系型數(shù)據(jù)庫,數(shù)據(jù)倉庫和BI等基礎設施已經(jīng)不能支撐第三層級的諸多需求了,這時需要企業(yè)構(gòu)建下一代的數(shù)據(jù)平臺。
業(yè)界對于“下一代數(shù)據(jù)平臺”的認知經(jīng)歷過一些更迭,早期方案是使用大數(shù)據(jù)技術(shù)替換傳統(tǒng)的數(shù)倉系統(tǒng),后來出現(xiàn)了Data Lake——數(shù)據(jù)湖的理念,其方案還是以大數(shù)據(jù)作為主要的技術(shù)支撐,但是在理念上比傳統(tǒng)數(shù)倉又有創(chuàng)新,而現(xiàn)在業(yè)界特別是國內(nèi)最認可也是呼聲最高的方案則非“數(shù)據(jù)中臺”莫屬了。
4、第四層級:深度洞察與預測
現(xiàn)在人們的一個共識是:數(shù)據(jù)除了可以告訴我們現(xiàn)在,還可以“預知未來”,深度洞察與預測是數(shù)據(jù)金字塔最頂端的價值輸出,也是目前我們認為的企業(yè)可以達到的數(shù)據(jù)應用能力最高層級,即運用AI和深度學習對數(shù)據(jù)進行深度洞察,揭示傳統(tǒng)分析方法無法發(fā)現(xiàn)的數(shù)據(jù)特征,并基于現(xiàn)有數(shù)據(jù)對未來趨勢進行預測。
我們來看一下企業(yè)到達第四層級后會具備哪些能力。前面我們提到的智能門店選址的案例就是第四層級上的一個代表案例,對于零售行業(yè)來說,門店選址是非常重要的,會直接影響到零售商的銷售業(yè)績,傳統(tǒng)選址的做法是通過人工現(xiàn)場勘查,再經(jīng)過主觀判斷而確定下來的,這種方式選出的門店其實際效果難以量化,成功率無法保證,而如果能夠基于人口、消費、競爭對手、環(huán)境業(yè)態(tài)和交通路網(wǎng)等豐富的多維度數(shù)據(jù)再配置適當?shù)娜斯ぶ悄芩惴ㄟM行綜合分析是可以得出更加精準的選址方案的,并且不單單是門店位置,還可以給出門店的預計銷售額、門店產(chǎn)品的上貨策略等更加細致和完備的數(shù)據(jù)。
另一個示例是智能客服系統(tǒng),這類系統(tǒng)可以針對顧客提出的問題進行語義識別,然后根據(jù)提出的問題在知識圖譜中進行搜索,尋找匹配的答案或決策,人工智能客服可以7*24小時在線,隨時解答顧客的問題,既提高了客戶滿意度又能節(jié)省商家的人力成本。
以上四個層級并不一定非要自下而上逐層構(gòu)建,實際上很多企業(yè)的數(shù)據(jù)生態(tài)是在上層業(yè)務的驅(qū)動下自然形成的,并不會像模型中描述的這樣層次分明,但是能力模型能給到企業(yè)管理者一個清晰的認識:即自身企業(yè)目前整體上停留在哪個層級上以及接下來應該向哪個方向發(fā)展。
5、兩個縱深維度:決策支持與業(yè)務創(chuàng)新
最后,在成熟度模型圖的右側(cè),還有兩個貫穿始終的維度:決策支持與業(yè)務創(chuàng)新,它們既是企業(yè)構(gòu)建數(shù)據(jù)平臺進行數(shù)據(jù)分析的價值導向,也是企業(yè)數(shù)據(jù)應用能力持續(xù)輸出的效果,企業(yè)達到的層級越高,對于決策支持與業(yè)務創(chuàng)新起到的支撐作用就越大越明顯。
在這兩個縱深維度上,企業(yè)需要做的是建立業(yè)務部門與技術(shù)團隊的互信,以產(chǎn)出業(yè)務價值,進行業(yè)務創(chuàng)新作為雙方共同追求的目標,同時潛移默化地培育企業(yè)的“數(shù)據(jù)文化”,在企業(yè)內(nèi)部形成“用數(shù)據(jù)說話”的氛圍。
所以這兩個縱深維度更多考察的是企業(yè)在數(shù)據(jù)方向上的管理、協(xié)作以及企業(yè)文化,是一個需要從管理者開始締造和推動,全員參與的良性互動過程。在這一過程中,業(yè)務團隊需要培養(yǎng)更好的數(shù)據(jù)素養(yǎng),善于通過數(shù)據(jù)分析業(yè)務現(xiàn)狀,并依靠數(shù)據(jù)進行業(yè)務決策,而技術(shù)團隊則應不斷加強數(shù)據(jù)平臺的各項能力,確保更好的服務于業(yè)務分析,同時積極主動地學習業(yè)務知識,從IT視角為業(yè)務創(chuàng)新提供新鮮素材。
如何度量企業(yè)的數(shù)據(jù)技術(shù)水平?
前面我們是從數(shù)據(jù)應用的“效果”上觀察企業(yè)的數(shù)據(jù)能力,當落地到實現(xiàn)層面時,“技術(shù)”就是不可或缺的了,構(gòu)建數(shù)據(jù)平臺通常是從基礎設施建設開始的,然后配合業(yè)務上的需求,逐步完善和打通各個技術(shù)環(huán)節(jié)。
在這里,我們不討論傳統(tǒng)技術(shù)框架下的構(gòu)建路線和方案,因為正如前面提到的,如果企業(yè)想晉升到第三或更高的層級,就需要以大數(shù)據(jù)技術(shù)作為基石構(gòu)建新的數(shù)據(jù)平臺,所以我們下文討論的所有技術(shù)內(nèi)容都是以大數(shù)據(jù)作為背景展開的。
圖2? 企業(yè)數(shù)據(jù)技術(shù)成熟度模型
1、第一層級:IT 基礎設施
首先,IT基礎設施是當然的前置條件,構(gòu)建基礎設施包括硬件機器的安裝,組網(wǎng)和調(diào)試,操作系統(tǒng)和必要軟件工具的安裝,然后,在硬件資源之上安裝和維護一個大數(shù)據(jù)集群,這個集群將負責承載企業(yè)全部數(shù)據(jù)的存數(shù)和處理任務。如果再寬泛一些,用于支撐平臺運行的基礎服務,例如DevOps,數(shù)據(jù)和算法服務使用的容器和容器編排服務等也都算在基礎設施內(nèi)。
過去,企業(yè)的IT基礎設施大多建設在自有機房或是租用數(shù)據(jù)中心的服務器,隨著云計算的普及,越來越多的企業(yè)開始把部分的基礎設施遷移到云上,形成“混合云”架構(gòu)。
基于云平臺的基礎設施在運維的便捷性、性能的可伸縮性和成本控制上都有顯著的優(yōu)勢,同時,在PaaS層面上,云計算廠商也提供對標on-premise的數(shù)據(jù)平臺服務,如AWS的EMR等,這些因素促使越來越多的企業(yè)選擇將新一代數(shù)據(jù)平臺建設在云上。但是需要提醒的是,在云平臺上企業(yè)需要特別重視數(shù)據(jù)安全問題。
?2、第二層級:數(shù)據(jù)采集/存儲/標準化
有了必要的基礎設施之后,就可以展開數(shù)據(jù)的采集、存儲和標準化工作了,這一工作也可以簡單地表述為數(shù)倉的建設過程。這一階段需要將分布在各個業(yè)務系統(tǒng)里的數(shù)據(jù)收集起來,在進行一些必要的規(guī)范化處理之后,存儲到一個統(tǒng)一的大數(shù)據(jù)平臺上,這是一個長期的迭代過程,特別是在建設初期,上層對數(shù)據(jù)的廣泛需求和下層集成數(shù)據(jù)源的繁重工作之間會存在沖突,我們建議企業(yè)通過啟動一到兩個大型項目來驅(qū)動這一階段的建設工作,然后在中后期維持一個規(guī)模較小的團隊持續(xù)跟進其他數(shù)據(jù)源的接入工作,當企業(yè)在這一層級積累一段時間后,就可以交付相應的報表和數(shù)據(jù)可視化應用了。
3、第三層級:實時處理、AI/機器學習
再接下來,進入第三層級就要將技術(shù)平臺推升到更高水平了,這里有兩項非常重要的技術(shù)拓展:實時處理和AI/機器學習,這是現(xiàn)代大數(shù)據(jù)平臺兩項標志性的技術(shù)能力。
實時處理是指通過流式計算、NoSQL數(shù)據(jù)庫等技術(shù)實現(xiàn)大體量數(shù)據(jù)的實時處理和讀寫,實時的數(shù)據(jù)處理能力對一些實時性要求很高的業(yè)務場景至關重要,這也是以往傳統(tǒng)數(shù)據(jù)平臺很難做到的。由于實時處理對技術(shù)和研發(fā)人員的要求都更高,因此大多數(shù)企業(yè)一般會先完善平臺的批量處理能力,然后再逐步拓展到實時處理領域。
另一個領域就是AI/機器學習方面的建設了,這一領域?qū)夹g(shù)能力的要求更高,且參與人員的角色和背景也與傳統(tǒng)的IT人員有所不同,進入到該階段時,IT團隊需要引入數(shù)據(jù)科學家,算法工程師等AI領域的人才。
最后,實時處理和AI/機器學習這兩大領域的能力是可以同步培養(yǎng)的,彼此之間沒有太大的依存關系。當企業(yè)具備了第三層級的技術(shù)能力之后就可以有力的支撐應用能力模型中的最高層級“深度洞察與預測”了。
4、第四層級:數(shù)據(jù)產(chǎn)品
最后,技術(shù)維度上,企業(yè)的數(shù)據(jù)能力還有一段上漲空間,那就是以業(yè)務領域為劃分依據(jù),將現(xiàn)有各個層級上的技術(shù)能力進行提煉并培育成“數(shù)據(jù)產(chǎn)品”,從功能、性能、靈活性和可擴展性等多種維度上進一步提升數(shù)據(jù)平臺的技術(shù)成熟度。甚至一些長期服務于某些行業(yè)的乙方公司,基于它們常年的積累,可以有能力將一些完善的內(nèi)部數(shù)據(jù)平臺進行二次封裝與提煉,形成行業(yè)解決方案。
5、兩個縱深維度:數(shù)據(jù)服務和數(shù)據(jù)治理
與四個層級建設并行的還有兩項貫穿始終的工作:數(shù)據(jù)服務和數(shù)據(jù)治理。數(shù)據(jù)服務是指將數(shù)據(jù)平臺上的各種數(shù)據(jù)以服務的方式提供給其他系統(tǒng),這種“服務”可以通過Restful API,JDBC,ODBC,FTP等形式或協(xié)議體現(xiàn)出來,這是將數(shù)據(jù)應用能力輻射到企業(yè)的各個系統(tǒng)與業(yè)務領域上的關鍵一步,沒有靈活而有效的數(shù)據(jù)接口,數(shù)據(jù)平臺在企業(yè)范圍內(nèi)發(fā)揮的作用就會受到限制。
與此同時,數(shù)據(jù)治理也是一個長期的持續(xù)性的工作,數(shù)據(jù)治理就是對企業(yè)的數(shù)據(jù)資產(chǎn)進行清晰的梳理,明確管理職責,建立配套的標準規(guī)范,同時要確保所有策略和規(guī)范能落地執(zhí)行,數(shù)據(jù)治理的最終目的就是保障數(shù)據(jù)質(zhì)量。
應用能力成熟度模型和技術(shù)成熟模型之間是有關聯(lián)的,根據(jù)我們的經(jīng)驗,當企業(yè)的技術(shù)成熟度達到第二層級時,可以支撐應用能力成熟度的第二層級和部分的第三層級,當技術(shù)成熟度達到第三層級時,就可以支撐應用能力成熟度的第三和第四層級了,至于第四技術(shù)層級是一個技術(shù)上更加完備的等級,通過將數(shù)據(jù)服務產(chǎn)品化為終端用戶提供更加高級和便利的服務。
關于作者:耿立超,架構(gòu)師,14年IT系統(tǒng)開發(fā)和架構(gòu)經(jīng)驗,對大數(shù)據(jù)、企業(yè)級應用架構(gòu)、SaaS、分布式存儲和領域驅(qū)動設計有豐富的實踐經(jīng)驗,熱衷函數(shù)式編程。目前負責企業(yè)數(shù)據(jù)中臺的架構(gòu)設計和開發(fā)工作,對Hadoop/Spark 生態(tài)系統(tǒng)有深入和廣泛的了解,參與過Hadoop商業(yè)發(fā)行版的開發(fā),曾帶領團隊建設過數(shù)個完備的企業(yè)數(shù)據(jù)平臺。
本文摘自《大數(shù)據(jù)平臺架構(gòu)與原型實現(xiàn):數(shù)據(jù)中臺建設實戰(zhàn)》,已在京東上架
推薦閱讀
僅用2年過渡到自研ARM芯片,蘋果的底氣從何而來?
開源巨頭 SUSE 收購 Rancher Labs,云原生時代來臨
國內(nèi)廠商 Onyx 違反 GPL 協(xié)議,中國開源何去何從?
天上地下,馬斯克和貝佐斯終有一戰(zhàn)?
空間-角度信息交互用于光場圖像超分辨重構(gòu),性能達到最新SOTA | ECCV 2020
贈書 | DeFi沉思錄:歷史、中國與未來
總結(jié)
以上是生活随笔為你收集整理的建设数据中台之前,建议先看这份企业数据能力测评 | 大咖说中台的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 当数据中台遇见云原生,智领云看到企业数据
- 下一篇: 十年技术骨干面试被开出一万五薪资,直呼