千万数据却只用6步管理!这套数据治理架构如何100%复用?
企業(yè)數(shù)據(jù)其實(shí)是資產(chǎn),那如何讓資產(chǎn)產(chǎn)生作用,這是一門大學(xué)問。
主數(shù)據(jù)管理是數(shù)據(jù)資產(chǎn)管理最重要和核心的內(nèi)容,本文通過“一平臺(tái)、兩體系、三性特征、四個(gè)統(tǒng)一、五個(gè)超越、六類服務(wù) ”應(yīng)用場(chǎng)景,比較體系化詳盡的介紹主數(shù)據(jù)治理、共享和應(yīng)用全過程。
主數(shù)據(jù)管理要點(diǎn)概覽
主數(shù)據(jù)是數(shù)據(jù)之源,是數(shù)據(jù)資產(chǎn)管理的核心,是信息系統(tǒng)互聯(lián)互通的基石,是信息化和數(shù)字化的重要基礎(chǔ)。
?
1)一平臺(tái):搭建一個(gè)一體化數(shù)據(jù)治理和共享平臺(tái);
2)兩體系:建立兩個(gè)體系(數(shù)據(jù)標(biāo)準(zhǔn)體系和保障體系);
3)三性特征:確保主數(shù)據(jù)三性特征(唯一性、準(zhǔn)確性、共享性);
4)四個(gè)統(tǒng)一:達(dá)到四個(gè)統(tǒng)一(統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一來源、統(tǒng)一接口、統(tǒng)一服務(wù));
5)五個(gè)超越:實(shí)現(xiàn)五個(gè)超越(超越部門、超越流程、超越主體、超越系統(tǒng)、超越技術(shù));
6)六類服務(wù):提供六種數(shù)據(jù)服務(wù)(數(shù)據(jù)訂閱/分發(fā)服務(wù)、主數(shù)據(jù)查詢/申請(qǐng)服務(wù)、數(shù)據(jù)調(diào)用API服務(wù)、公共數(shù)據(jù)資源池、數(shù)據(jù)資源服務(wù)、數(shù)據(jù)即時(shí)服務(wù))。
一、一體化數(shù)據(jù)治理、共享和應(yīng)用詳解
1.1 一平臺(tái)
建立企業(yè)級(jí)的、一體化的數(shù)據(jù)治理和共享平臺(tái),確保數(shù)據(jù)資源中心的數(shù)據(jù)質(zhì)量和安全管理。詳細(xì)功能描述可以參照數(shù)據(jù)治理平臺(tái)工具前世今生。
?
基于Spring boot框架, 引入Eureka、Zuul、Feign、Ribbon等Spring cloud相關(guān)組件,形成微服務(wù)解決方案,前端頁面應(yīng)用服務(wù)實(shí)現(xiàn)前后端分離。
?
云計(jì)算為數(shù)據(jù)管理工具提供了能夠滿足“共享服務(wù)”功能的新的架構(gòu)模式,采用微服務(wù)技術(shù)滿足數(shù)據(jù)管理工具的高可用性、穩(wěn)定性和易用性。人工智能夠主數(shù)據(jù)清洗提供了自動(dòng)化思路,利用自然語言處理及數(shù)據(jù)標(biāo)準(zhǔn)庫提升數(shù)據(jù)質(zhì)量。
基于統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一指標(biāo)數(shù)據(jù)驅(qū)動(dòng)的元數(shù)據(jù)(業(yè)務(wù)元數(shù)據(jù)、管理元數(shù)據(jù)、技術(shù)元數(shù)據(jù)等)、統(tǒng)一治理工具、統(tǒng)一安全管控,通過不同的模塊組合,形成不同的數(shù)據(jù)服務(wù)和治理解決方案;
?
二、兩個(gè)體系
2.1 數(shù)據(jù)管理體系
?
數(shù)據(jù)管理體系包含:數(shù)據(jù)標(biāo)準(zhǔn)管理體系、數(shù)據(jù)管控體系、數(shù)據(jù)技術(shù)服務(wù)體系、數(shù)據(jù)質(zhì)量要求、數(shù)據(jù)安全要求等。
2.2 數(shù)據(jù)運(yùn)維體系
建五位一體數(shù)據(jù)運(yùn)維服務(wù)體系,加強(qiáng)應(yīng)用推廣的組織和培訓(xùn)指導(dǎo),有序推進(jìn)數(shù)據(jù)共享、應(yīng)用
?
三、主數(shù)據(jù)三性特征
3.1 唯一性
在一個(gè)系統(tǒng)、一個(gè)平臺(tái),甚至一個(gè)企業(yè)范圍內(nèi),主數(shù)據(jù)實(shí)體要求具有唯一標(biāo)識(shí)即數(shù)據(jù)編碼,同名同義,保證同一個(gè)對(duì)象在應(yīng)用的唯一性,如:統(tǒng)一員工和組織主數(shù)據(jù),對(duì)所有系統(tǒng)的員工和組織進(jìn)行規(guī)范。
3.2 準(zhǔn)確性
3.3 共享性
跨部門、跨系統(tǒng)高度共享的數(shù)據(jù),可以被多個(gè)認(rèn)識(shí)主體接收和利用。
?
支持企業(yè)多業(yè)務(wù)類型、多地域經(jīng)營(yíng)的應(yīng)用,在流程規(guī)范、系統(tǒng)集成、主題共享、系統(tǒng)數(shù)據(jù)一致性等方面都需要通過數(shù)據(jù)標(biāo)準(zhǔn)化來支撐,從而最終提高管理效率,加強(qiáng)管控落地。
?
數(shù)據(jù)治理工作在提升企業(yè)整體價(jià)值的同時(shí),也為企業(yè)內(nèi)部的數(shù)據(jù)共享等具體提供了良好的和可持續(xù)的數(shù)據(jù)基礎(chǔ),為數(shù)據(jù)的進(jìn)一步挖掘和分析夯實(shí)基礎(chǔ)。
四、四個(gè)統(tǒng)一
這塊沒什么價(jià)值,略過。
五、五個(gè)超越
5.5 超越技術(shù)
超越技術(shù):由于主數(shù)據(jù)要滿足跨部門的業(yè)務(wù)協(xié)同,因而必須適應(yīng)采用不同技術(shù)規(guī)范的不同業(yè)務(wù)系統(tǒng),所以主數(shù)據(jù)必須應(yīng)用一種能夠?yàn)楦黝惍悩?gòu)系統(tǒng)所兼容的技術(shù)條件。
從這個(gè)意義上講,面向微服務(wù)架構(gòu)為主數(shù)據(jù)的實(shí)施提供了有效的工具。在不同環(huán)境、不同場(chǎng)景下,主數(shù)據(jù)的技術(shù)是可以靈活應(yīng)對(duì)的。主數(shù)據(jù)的集成架構(gòu)是多樣的,如:總線型結(jié)構(gòu)、星型結(jié)構(gòu)、端到端結(jié)構(gòu);集成技術(shù)也是多樣的,如:webservice、REST、ETL、MQ、kafka等;不論是架構(gòu)還是技術(shù),沒有最好的只有更合適的。
企業(yè)在做技術(shù)選型的時(shí)候,要充分考慮企業(yè)的核心業(yè)務(wù)需求和未來的發(fā)展要求去構(gòu)建自身的主數(shù)據(jù)技術(shù)體系。
六、六種數(shù)據(jù)服務(wù)
以下為6種比較常用的數(shù)據(jù)服務(wù)方式,其中,1-4是主數(shù)據(jù)應(yīng)用的服務(wù),5-6已經(jīng)超越主數(shù)據(jù)的概念,可以針對(duì)交易數(shù)據(jù),指標(biāo)數(shù)據(jù)提供數(shù)據(jù)共享服務(wù)。
?
這里講一個(gè)數(shù)據(jù)資源服務(wù)吧。
數(shù)據(jù)資源服務(wù)是各類數(shù)據(jù)高級(jí)應(yīng)用,是將源系統(tǒng)數(shù)據(jù)大集中在數(shù)據(jù)資源中心,通過大數(shù)據(jù)技術(shù)工具,提供各類數(shù)據(jù)自助式服務(wù)。
通過相關(guān)工具(Sqoop等)將源系統(tǒng)的數(shù)據(jù)(HR、財(cái)務(wù)、業(yè)務(wù)等)抽取到大數(shù)據(jù)平臺(tái),經(jīng)過整合、清洗、歸并后形成各種主題數(shù)據(jù),對(duì)外提供不同的數(shù)據(jù)服務(wù)(主數(shù)據(jù)、交易數(shù)據(jù)、指標(biāo)數(shù)據(jù));
我整理了100+數(shù)字化報(bào)告,50+名企案例,10+T行業(yè)解決方案,回復(fù)“資料包”即可獲得!
總結(jié)
以上是生活随笔為你收集整理的千万数据却只用6步管理!这套数据治理架构如何100%复用?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 中国建材50强:利用帆软构建数据管理闭环
- 下一篇: 选择大于努力!0基础学好C语言编程,首先