如何撰写数据中台蓝图方案
數據中臺是基于公司的三款核心產品DAP、MDM和ESB組成的解決方案,主要實現基于數據治理分析的中臺建設,通過MDM將企業內部的基礎數據標準化、規范化、整合化后,由DAP進行數倉建設以及最終的數據分析的可視化展現,ESB通過數據集成完成整個數據中臺的主數據分發和數倉的數據匯聚。
近期參加了一個數據中臺的項目,在該項目中進行了藍圖方案的撰寫,通過藍圖方案的不斷完善,對整個數據中臺的整體框架有了逐步的了解,數據的加工過程、三款產品之間的相互關聯、在數據中臺方案中的意義和價值等。下面針對如何撰寫數據中臺的藍圖方案進行介紹。
1總體說明
數據中臺分了三個模塊,數據分析平臺(DAP)、主數據治理平臺(MDM)、數據集成平臺(ESB),數據中臺的部署環境采用K8S云平臺部署,MDM實現基礎數據管理,業務數據由源頭業務系統提供,通過ESB的數據集成,實現基礎數據、業務數據從源頭系統到數倉的同步。
1.1方案介紹
數據中臺主要是打通企業的數據環節,實現全生命周期的數據管理,通過數據中臺建設數據管理體系,實現各個業務系統數據的有效整合。通過基礎數據治理保證底層基礎數據的一致性,基于業務指標進行前端的動態展現,結合數據指標的多維度穿透,實現以不同形式、不同維度的分析展現。分析業務指標的同時也是對企業業務的梳理,發現業務中存在的問題,實現企業業務升級與轉型,保證領導層能實時把控企業業務的發展,了解業務痛點,改進業務管理方式,實現業務與數據的相互支撐,從而為企業的高層決策提供數據支持。
1.2集成架構
數據中臺的系統集成架構如下:
1.數據中臺中每類主題需要分析的業務數據,都會有對應的來源系統作為數據源頭;?
2.通過提供從庫或直接獲取數據表的訪問權限,通過ESB進行數據抽取將需要分析的數據同步至ODS中;?
3.將統一的標準主數據(組織、人員等)進行基礎數據的治理,進行主數據的建模、主數據的清洗等,將這些數據下發至下游系統中;?
4.主數據中的數據作為數據分析的維表同步至數倉中;?
5.最終維表、ODS表通過匯總、分析、計算等實現數據整合,以及最終的圖形化展現。?
1.3數據架構?
根據需求進行數據架構的繪制,數據中臺的整體數據架構如下:?
1.來源系統包含了各類主數據的數據源頭,常有的如人力資源系統、OA系統等;?
2.通過數據集成平臺(ESB)進行數據的抽取、分發等同步到MDM中;?
3.MDM進行數據的生命周期管理,數據建模、數據的安全管理,保證了數據的標準、數據的規范,數據的同源;
4.經由ESB將對應的主數據下發到相應的業務系統中;
5.并且通過ESB將主數據作為數據的維度同步至數據倉庫中進行大數據中心的可視化展現分析。
1.4藍圖清單
藍圖階段需要的文檔清單如下:
1.《業務系統調研提綱》
2.《業務系統調研紀要》
3.《整體調研報告》
4.《調研情況總結匯報PPT》
5.《各類主數據集成標準規范說明書》
6.《各類主數據數據標準規范說明書》
7.《各類主數據管理標準規范說明書》
8.《各類主數據清洗標準規范說明書》
9.《數據中臺數據管理規范》
10.《數據中臺-主數據平臺實施方案》
11.《數據中臺-數據分析平臺實施方案》?
12.《數據中臺-ESB數據總線實施方案》?
13.《數據中臺-業務藍圖》?
14.《數據中臺-業務藍圖匯報PPT》?
2整體流程?
藍圖撰寫包括了四個階段,了解客戶需求的前期調研、針對調研結果對后續內容進行分析規劃、根據客戶需求進行藍圖方案的輸出、在藍圖輸出完畢后進行方案評審,最后在不斷地評審和調整后讓客戶最終簽字確認。?
??
2.1需求調研?
需求調研,就是借助數據中臺的解決方案,引出客戶的需求。并在需求調研之后,思考如何才能通過數據中臺去適配客戶的需求。這個過程不僅僅是去引導客戶,也是在梳理我們的解決方案的過程。明確我們能夠做什么、客戶需要什么、我們能做得如何才能與客戶需要的去適配,這才是這個階段最重要的目的。?
2.2分析規劃?
在調研完畢后,針對于客戶提出的痛點進行需求分析,通過客戶的需求去匹配數據中臺的實現情況。在需求分析的過程中,針對產品如何去適配客戶的需求進行規劃出相關的解決方案。在通過規劃的方案進行具體的實現內容規劃,最后列出相關的實施計劃,通過列舉出的內容進行藍圖內容的補充完善。?
2.3藍圖撰寫?
在分析規劃完畢后,通過需求調研進行藍圖方案的撰寫。這個過程是對前期客戶的需求進行梳理,在梳理的過程中分模塊、分內容去適配進我們的方案中。在撰寫方案時一定要明確數據中臺的核心價值是數據分析,所有的功能最終都是為數據分析去準備的。在藍圖方案的完善中,一定會出現調研階段沒有調研到的或不明確的地方,這個時候一定要盡早提出來,聯系客戶進行補充調研。?
2.4評審完善?
藍圖方案是一個項目的開始,也是項目的一個重要節點,無論是客戶的需求或者是實施的方向,都離不開確認的藍圖方案。數據中臺的數據分析部分有時會包含多個主題,單個客戶能夠了解的業務很少能覆蓋全。而在這個時候,針對于不同的主題模塊,就需要與對應的客戶進行溝通。在交流各部分的藍圖內容時,不僅可以更加深刻地引導客戶的思路,也能夠在評審藍圖的過程挖掘出客戶更多的需求。?
3需求調研?
對客戶調研就是了解客戶需求的過程,在進行不斷地需求挖掘、信息交互后,了解客戶的業務情況,在逐步溝通的過程中引導出客戶的真實需求。?
3.1前期準備?
調研簡單點說就是我們提出問題,客戶方針對問題進行回答。但如果只是單純地進行提問那么肯定是做不好的,因此在最開始就需要重視這一部分內容,可以有如下的準備方式:?
1.首先在調研之前了解客戶的相關業務,調研時針對客戶的相關業務去切入可以讓客戶感到更加的貼切;?
2.在調研之前去熟悉客戶的組織架構,在調研的過程中,針對不同的部門的客戶采用不同的提問方式;?
3.調研提綱也是一個不錯的方式,在調研之前出具調研提綱,不僅可以幫助我們梳理出想要問的問題,也可以讓客戶根據調研提綱去思考如何進行解答。?
3.2業務挖掘?
在調研階段,業務挖掘是一個了解客戶的真實業務的過程,很多情況下客戶雖然客戶知道他們平時的業務是什么,但是無法總結和描述出來,所以在這個過程需要挖掘客戶的真實業務,通過業務明確需求,可以采用如下的方式:?
1.在調研之前,對相關行業了解,并在調研時提出一些相關行業的案例,讓客戶做出對應的適配;?
2.在調研過程中針對客戶提出的一些關鍵點進行深入提問;?
3.在調研的過程中,針對數據中臺能夠解決的需求痛點進行提問,將客戶向數據中臺的功能進行引導。?
3.3需求溝通?
很多時候,客戶可能自己并不知道自己需要的究竟是什么,尤其是數據中臺作為一種集成類型的解決方案,是非常抽象的,客戶可能都不知道自己的需求具體有哪些,需要我們根據自身的經驗加以引導和挖掘:?
1.在調研的過程中進行數據中臺方案的演示,讓客戶對數據中臺有一個大體的印象;?
2.在演示過程中可以通過如預置樣例、繪制出樣例等進行演示;?
3.在實際的效果中,客戶會對數據中臺的具體效果有所了解。?
3.4整理分析?
在與客戶的第一次調研時,可能客戶也不知道自己需要什么,自己也沒有引導出客戶真實的需求,在一場調研下來,可能客戶說了很多,但是對于我們所需要的問題點卻寥寥無幾,但是針對于這些問題點可以進行內容的擴充和整理:?
1.在整理過程中會回憶當時客戶所描述出的內容,并針對調研內容進行會議紀要的完善;?
2.在會議紀要完善的過程,針對于一些客戶可能不經意間提到的內容進行整理,或客戶提出了一些當時沒有想到,想要調研結束后在重新進行準備等,將這些問題記錄下來并準備進行補充調研或二次調研。?
4內容規劃?
藍圖文檔的內容進行規劃,包括在撰寫之前的整體規劃,針對數據分析平臺進行對應的指標分析,對MDM的主數據內容進行規劃,最后對項目的內容、項目進度、項目交付節點等進行規劃。?
4.1整體規劃?
首先要對整體的藍圖內容進行規劃,包括了數據中臺中的各個產品模塊的實現方式,如何去撰寫才能更加貼合客戶的業務需求并且將客戶的需求落實到我們的產品當中,針對數據分析模塊和數據治理模塊進行相關內容撰寫方式的規劃,包括客戶的相關指標的分析方式,主數據的集成等。?
4.2指標分析?
客戶更多的時候可能只想要去做挑選或在現有基礎上完善,所以針對于這種數據的可視化部分不能提出建設性問題,那么就要在完善數據分析模塊的藍圖時,明確出客戶都需要哪些主題,并針對標準的指標內容及數據的加工過程進行樣例展現,讓客戶對此有一定了解,并在后續不同主題的客戶進行藍圖評審時知道我們數據中臺都需要哪些。在數據分析模塊了解客戶要分析的指標有哪些,針對于客戶提出的指標信息以及客戶所想要的大屏展現方式,進行列舉。每類主題都列舉出相關的業務報表,最后是對整體的數據分析模塊進行功能設計。?
4.3基礎數據?
在調研之前就要明確出客戶需要哪些基礎數據。在文檔規劃過程中,針對于基礎數據,明確出各類主數據的數據源頭,數據的消費情況。之后整理出整體主數據的編碼體系,不同的主數據的清洗字段及清洗方式。梳理出主數據的整體流向,包括數據的獲取方式,分發的目標系統都有哪些。針對于調研時的所有主數據的字段信息進行整理,最后對每類主數據進行功能的設計。?
4.4實施規劃?
在藍圖撰寫完畢要對后續的整體實施內容進行規劃,包括整體的數據中臺的實施計劃,后續針對于業務藍圖的內容如何進行實施,在實施過程中及時匯報每個模塊的實施進度,最后對整體的進度情況規劃交付的時間。?
5藍圖撰寫?
在內容規劃完畢后,就開始進行藍圖內容的補充,不要認為之前的調研就是最終階段調研,然后覺得沒有什么內容。因為前期調研是我們與客戶對于數據中臺的前期探索,根據客戶給出的內容并結合以往的經驗完善出初版藍圖,之后根據初版藍圖再與客戶進行溝通確認。只有不斷溝通和討論,才能夠給出客戶滿意的藍圖。?
5.1梳理大綱?
在完善藍圖之前要明確三款產品的作用,MDM雖然是進行企業基礎數據標準化、規范化、整合化,通過ESB協同完成數據的同步、分發工作,但是在我們數據中臺中MDM的作用是為了給DAP數據分析平臺提供標準的數據分析維度,所以整個藍圖的重心是放在DAP模塊。?
首先將DAP的整體加工流程列舉出來,如果客戶無法給出相關建議,那么按照標準的加工流程進行加工展現。MDM中側重于整體的數據流向、數據字段的管理等。ESB要包含數據集成和應用集成,數據集成包括了DAP如何通過ESB進行加工,應用集成為主數據和源頭系統與下游系統的對接方式。?
5.2整合業務?
根據前期調研的調研內容,進行藍圖方案的撰寫,在數據中臺的標準藍圖方案的基礎上藍圖文檔需要和客戶的業務緊密結合,并且能夠實現業務的整合,尤其是數據分析模塊,在調研過程中客戶提出的相關指標信息進行數據分析的過程以及各級穿透之間的聯動。?
5.3提供樣例?
一個企業的通用主數據,包括組織、人員、崗位等都是企業在日常運轉中接觸到的,客戶對這部分的了解可能更加熟悉一些,但是在數據分析部分,可能客戶都沒有接觸過這種數據可視化的內容,甚至可能都沒有這種概念,幾場調研下來可能主數據部分問到了許多,但是數據分析部分卻寥寥無幾。?
針對以上情況在藍圖撰寫的過程就不僅僅只是寫上客戶的需求,我們可以對各個分析主題預置一部分樣例,例如介紹我們的數據加工過程,數據到DAP后如何一步步進行可視化展現的,這樣帶著這些樣例去找客戶,可以讓客戶對數據中臺有一個初步的認知,至少也可以知道我們數據中臺需要什么,盡量讓客戶去做選擇題而不是填空題。?
5.4制定標準?
在藍圖撰寫時列舉出相關的標準,并在與客戶進行藍圖的初次評審時將標準規范進行介紹。包括:?
1.需要數據中臺進行集成的集成標準規范;?
2.數據中臺對源頭系統或數據存儲方式的數據規范;?
3.針對于數據中臺的治理內容、數據的標準規范體系、管理考核體系,根據不同角色在數據中臺中可以管控的數據管理規范;?
4.數據中臺根據不同主數據進行數據清洗的數據清洗規范。?
6藍圖評審?
不僅僅最終的客戶簽字確認才叫藍圖的評審,在評審前的自我審查、項目組內部的討論和溝通、與客戶進行業務方面的交流、通過客戶提出的建議進行修改調整等,這些都是完善藍圖的過程。?
??
6.1自我審查?
無論是藍圖還是文檔的撰寫首先就是要將大綱進行完善,在梳理出大綱后去檢查大綱是否合理,或交付給相關領導等進行檢查。?
基于大綱進行藍圖的撰寫,撰寫完畢后需要自己對藍圖文檔進行審查,雖然會有部分自己檢查不到,但是自己在撰寫的過程中一定會出現一些措辭不合理,邏輯前后不通順、出現錯字的情況。所以在撰寫完畢后進行一次自我審查,最終從客戶的角度考察有沒有遺漏。?
6.2內部評審?
藍圖撰寫完畢后,首先就是內部評審,在內部評審過程中,針對于不合理、缺失的地方項目組內部給出建議并進行補充完善,在評審的過程中也是對于客戶的業務進行再次梳理,梳理出目前藍圖缺失的地方,如果客戶沒有給出具體的數據分析內容,那么就要根據分析主題給出對應的樣例。?
6.3藍圖完善?
通過不斷地與客戶溝通交互,并進行藍圖內容的梳理,我們的藍圖才能不斷的完善。撰寫藍圖不是一蹴而就的,是需要很多人的參與然后不斷地溝通交互,在貼合客戶的實際需求上不斷地完善,不斷地梳理,最終輸出的藍圖才可以交付到客戶并確認簽字。?
6.4客戶評審?
這里的客戶評審并不是最終的客戶評審,而是階段性的藍圖確認,在與客戶進行階段性藍圖確認時,通過這種成熟的藍圖內容,客戶可以進行查缺補漏,檢查藍圖有沒有覆蓋全自身的業務,并給出相關建議。梳理藍圖的階段,不僅是我們對客戶的業務進行梳理,也是客戶對數據中臺進行梳理。但是在這個階段,客戶提出的建議一定要進行記錄并在藍圖中體現。但如果客戶提出的調整不合理也一定要及時溝通。?
7心得體會?
在藍圖方案的完善過程中,暴露出了我很多的問題,也讓我增長了很多的經驗,我針對這些問題進行總結。?
7.1項目經驗?
剛開始的調研時,我有些急于求成了,切入的速度過快,并且被咨詢方是領導層面,但是自己問到了許多技術層面的東西。問問題應該先業務再技術,這樣的話才會有一個緩沖的過渡期,我在剛開始就提問了一個高難度的問題,領導會認為后續的問題應該都是高難度的,這非常不利于后續的提問,因為就算是問到了他們負責的地方,他們也會下意識的將之前的提問情況融合進來,造成了很多時候答非所問的情況。?
7.2工作方式?
在撰寫業務藍圖之前,首先要明確的就是大綱的內容,只有大綱是對的,整體的藍圖撰寫方向才不會跑偏,在大綱的梳理過程中貼合客戶的實際業務,明確三個模塊在數據中臺中的主次情況。?
撰寫藍圖的過程,也是我在熟悉客戶業務的一個過程,并且在完善時不僅要貼合客戶的業務,還要在貼合客戶業務的同時去適配數據中臺的解決方案,在兩者相互結合的情況下不斷地熟悉數據中臺,并在藍圖中給出標準化的解決方案,一個藍圖不僅僅是一次會用到,只有這個大的方向是準確的,冰潔給出了標準化的藍圖內容,在其他的數據中臺項目中,也能夠根據這種方式去套用,形成完整的體系。?
7.3提高認知?
數據中臺方案中最重要的功能就是數據分析,而我在剛進入項目時對數據分析部分還是不太熟悉的,很多時候對于產品的認知和理解是不到位的,這個功能只是使用了,但是真正的功能應用方式沒有去確認,導致在藍圖撰寫階段走了很多彎路,在以后針對于這種功能要與公司的其他有經驗的同事確認后才可以。?
7.4個人總結?
在藍圖完善的過程中,不僅僅是對之前客戶的調研內容進行整理,也是一個梳理并深入了解數據中臺方案的過程,無論是調研階段,或者是藍圖完善階段我差的都有很多,在調研過程或調研之前要多去思考,多往前走一步,思考如何才能去引導客戶,不能最開始就跟客戶我準確的需求,要給客戶一個充足的發散空間。?
在最開始的藍圖完善階段,我沒有明確到數據中臺中各個產品之間的關聯和哪一款產品才是最重要的,最開始只是著重關注主數據部分,不去重視數據分析部分,而數據分析部分才是數據中臺的核心功能。尤其是目前的這個項目是多業務的大型公司,每種模塊的分析指標和業務都各不相同,這是一個很好的機會,明確指標和業務之間的關聯關系,讓自己能夠了解到更多的業務,提升自己的認知。
總結
以上是生活随笔為你收集整理的如何撰写数据中台蓝图方案的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 柠檬味百香果饮料怎么制作
- 下一篇: 原光明中医函授大学教材