套用这8种数据治理方法,解决90%的数据治理问题
轉載/大數據構架師
前些天,有客戶問我,數據治理到底該怎么做?這個問題問的我是一時語塞。因為是在客戶現場,我只能根據他的實際情況,針對性的提了一個方案。不過,這客戶還真的是做了一些工作,然后就開始討論起來:那誰誰誰,都是這么做的,我們能不能也這么做?
說實話,我是比較喜歡這種客戶的,因為這代表他在思考問題。我最害怕的客戶是把你丟一邊,啥支持也不給,最后管你要高質量的結果。這八成是要壞事的。
當時跟客戶聊了很久,但都是聊到哪算那,也不系統,今天趁著有點時間,整理一下,貢獻給大家,僅供參考。
共分為8種方法,分別是:頂層設計法、技術推動法、應用牽引法、標準先行法、監管驅動法、質量管控法、利益驅動法、項目建設法。
事先聲明,這些方法論都是向各位大佬學習來的,也有部分是項目中實操得來的,并非老彭原創。
01 頂層設計法
顧名思義,頂層設計法就是先做一個數據治理頂層設計的規劃,然后按照規劃執行即可。做過咨詢的彭友都知道,頂層設計、戰略咨詢都會根據戰略目標拆解KPI,然后設立對應的支撐項目,并且根據優先級別進行排序,最后形成一個執行的路徑。今年做什么,明年做什么,先做啥,后做啥,都規劃的清清楚楚明明白白。之后就按圖索驥就行。大致的邏輯就像下圖一樣:
這樣的好處很明顯,先有面,再有線,最后是各個點狀的項目,一點點的落實,效果自然沒的說。
但是這樣的方案是非常非常奢侈的,因為這種方案見效慢,對組織的要求非常非常高。耐得住性子的組織很少,通常都要快速見效。
基本上也只有一些政府單位和極少數的企業使用這種方式獲得了數據治理的成功。
02 技術推動法
有敏感的朋友已經察覺出來了,這里叫“技術推動法”,而不是技術引領啥的。
其實這種方法是絕大多數企業采用的數據治理方法。要說原因么,其實很簡單,因為數據治理項目大多是在信息部門立項和實施的。
既然是技術部門的事兒,那當然是技術部門推動了。講真,我見過太多類似的事情,很少有效果很好的。
《華為數據之道》里說要“業務主導”,話是真沒錯,但幾乎沒有做到的。原因很簡單,屁股決定腦袋。業務負責人的主責主業是搞業務,根本不會野不可能要主動做數據治理的事情。
技術驅動的套路沒啥說的,就是針對數據問題,從技術層面進行解決。套路就是信息系統建設的邏輯,立個項,做調研,各種概要設計、詳細設計,各種開發、集成、測試、部署,然后驗收。
效果么,一般吧。因為大多是問題導向,頻繁“打補丁”式的建設。到最后往往就是各種爆炸,報表爆炸,指標爆炸,數據問題爆炸。然后開始上指標系統、數據質量系統,一個補丁貼一個補丁,到最后誰都不敢動了。
歸根結底,就是因為數據的問題是一個系統性的,技術層面的原因只是其中之一而已。造成這種現象的原因就是業務參與度不夠。
在企業,誰掙錢,誰的話語權就大。業務自然是利潤中心,而技術一般都是成本中心。純讓技術去推動數據治理,就像是讓兒子督促爸爸戒煙一樣不靠譜。
03 應用牽引法
如果說技術推動是小孩推車,那么應用牽引則是壯牛拉車得心應手啊。有應用在前面牽引,后面的各種事情就顯得非常自然。
很多企業建數據體系都喜歡先弄一個大屏不是沒有道理的。因為沒有“用”的東西是沒有價值的。
大屏雖然用戶比較單一,實用價值比較低,但畢竟還是有使用場景的,比單純沒有使用場景的純技術開發建設強的不是一星半點。
以數據應用為牽引,反向要求各鏈路的數據高質量供給,促進數據治理體系的建設,也是一個很好的選擇。
但是這種方式做數據治理,始終還是會陷入到片面、局部勝利的結果。有應用的地方,數據質量就能得到治理,沒有應用的數據質量就沒人管了。
04 標準先行法
講真,標準現行法的真實案例我只遇到過極少數的幾個,其中就有某部委。我當時接手做這個項目的時候,把甲方情況跟彭友們分享,他們都驚呆了!居然有這么好的客戶!
甲方在建業務系統的時候,把數據標準和業務系統綁定起來。所以他們在做信息化建設的時候,就已經把所有的數據標準都已經建立好了。
我過去的時候,發現數據治理真的就這么簡單,完完全全就是一個純技術活兒,不用考慮人的因素。
所有表都是按照統一的數據模型建設的,所有字段中的鍵值都在最新發布的數據字典里,甚至為某個“主數據”單獨建了一套管理系統。
我過去就是按照標書里的要求,建庫建表,開發ETL,把數據收上來,然后整個規則引擎,按照配置結果,自動計算數據質量,定期出數據質量報告。
沃德天!從來沒有過如此絲滑的場景,簡直太爽了。其實為什么有那么多的數據質量問題?很簡單,沒有標準。沒有標準就沒有對錯,自然就會亂到一塌糊涂!
標準有了,就能確定什么是對的,什么是錯的。后面的執行、監測和控制就有了依據,數據質量才有保障。
05 監管驅動法
這個好理解,就是強監管。
強監管通常是上級單位發政策,下級單位執行。而且做不好,還會有懲罰。
老彭以前分享過《數據治不好,有啥后果?罰到你破產!!!!》,實在是太恐怖了!一單罰上千萬!
銀行、保險等強監管的行業就是跟著政策走的。不好好做數據治理,不按照EAST、1104的要求報送數據,罰單馬上就來。不要想著隨便糊弄,有本事就造全套的假數據,假的跟真的一樣的那種,表間勾稽關系無誤,各個維度都找不到破綻的那種。
當然了,在企業內部其實也可以執行這種強監管的模式,但這需要“特權”。這個前提通常很難達到。有種取巧的方法,就是貫標。比如現在國家在推的DCMM貫標。嗯,彭友們要過DCMM記得找老彭哈~~~
貫標有一個特別的好處,就是把“貫標評級”列到組織年度目標中,這樣就能在企業內部形成一個巨大的“勢能”,形成強監管的態勢。當我們把“DCMM貫標”這根大棒揮舞起來, 自然比某個部門或者某幾個部門推動數據治理強太多了。
我們給某企業做DCMM貫標的時候,發現技術部門早就制定并頒發了數據安全的制度、流程。但是跟大多數企業一樣,發完之后就成一紙空文了。業務覺得安全管控太費事了,壓根就不執行。
現在不一樣了,技術部門借著“貫標”的理由,要求業務貫徹執行之前發布的制度和流程。業務雖然不情不愿,但是貫標是企業級目標,大家不得不做,也就半推半就的推行起來了。
其實說到底,監管驅動法,就是在借勢,借上級政策要求的勢,借國家標準的勢。用大勢推動原本推不動的部門,疏通原本阻力大的流程。
06 質量控制法
質量控制法其實是沒有辦法,也算是數據管理早期的雛形。因為說起來,數據管理理論體系往前追溯,其實是來自于質量管理體系。
ISO9000(質量管理標準體系)、TQM(全面質量管理體系)、CMMI(能力成熟度集成模型,不只是軟件哦!),都屬于通用管理體系。ISO9000后發展出ISO8000(數據質量管理標準體系),TQM延展出TDQM(全面數據質量管理體系)。而CMMI協會也在2014年推出了DMM(企業數據管理能力成熟度模型)。這是數據領域質量管理體系。
中國則參考CMMI等一眾數據管理體系,在2018年正式發布數據管理成熟度評估模型(DCMM)國家標準,這是后話了。
與其他行業情況一樣,質量是繞不過去的關。不管是做業務的,還是搞技術的,相信各位彭友沒少為數據質量的問題撓頭。質量有問題,數據就沒法用,甚至會影響錯誤決策。于是,迫于各種數據質量問題,企業內外部才認真對待,逐步解決數據質量問題。
數據質量管控很明顯,是問題導向。但是也不能頭疼醫頭腳疼醫腳,還得有個方法論。一般來說得有一個具體的需求,包括數據質量管控目標、評估標準、判定規則等等。
然后再以階段性的目標和需求出發,從事前防范、事中監控、事后核查三方面進行質量管控,對各類數據問題予以解決。
在解決的時候,一般會立一個數據質量改進的專項,從技術、流程、制度、機制等層面進行改進,定期開展評估,對數據質量問題及解決辦法建立知識庫,便于之后遇到類似問題能快速定位和解決。
在這個過程中,以數據質量問題為牽引,綜合使用元數據、主數據、數據標準、制度規范等各類手段,“建”以致用,自然就不會出現用不起來的情況了。
07 利益驅動法
利益驅動法其實也很有意思。這是我偷偷觀察并總結的招,而且這招貌似特別好用。
其實說白了,也沒啥,就是一招:以利益共享為根本,以“成就”為導向,建立一個符合部分核心人員利益的目標,然后推一下就行了。
具體的操作手法有很多,比如成功案例法、合作致勝法、評獎法、出書法、會議法等,還有互聯網企業保命大法“開源法”。
不能再細說了,再說就會被滅口了。
總而言之,這個事呢,現在就是這個情況,具體的呢,大家也都看得到。可能,你聽的不是很明白,但是意思就是那么個意思,只想說懂得都懂,不懂的我也不多解釋,畢竟自己知道就好,細細品吧。詳細情況你們自己是很難找的,網上大部分已經刪除干凈了,所以我只能說懂得都懂。關鍵懂的人都是自己悟的,你也不知道誰是懂的人也沒法請教,大家都藏著掖著生怕別人知道自己懂…我不說了,別打我臉
08 項目建設法
這個很容易理解,就是弄個數據治理項目,慢慢建設。
其實數據治理這件事情開展到現在,也已經形成了一整套非常完善的流程了,相關產品能力也已經非常全面了。
我之前參與的項目,基本上覆蓋了數據全流程,什么數據咨詢、數據采集、共享交換、數倉、數據標準、元數據、主數據、數據質量、數據可視化、數據分析等等。
目前效果比較好的,是咨詢和實施結合起來做。做個咨詢,對數據現狀進行盤點,全面掌握企業未來的戰略和目前的現狀,然后根據數據管理體系,做出差距分析,擬定具體執行的工作任務,根據時間進度安排,拆解并規劃項目。
然后在實施項目中,先穿透一個場景,再慢慢從縱深和橫向兩個層面不斷擴大戰果,建元數據、主數據、指標體系、數據質量管理體系等等,不斷夯實數據基建,為前端數據應用提供高質量數據供給。
總結
以上是生活随笔為你收集整理的套用这8种数据治理方法,解决90%的数据治理问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 浅析C与C#
- 下一篇: 广东鸿图:搭建业务报表,摆脱人工计数,工