簡介：?數(shù)智化時代，“數(shù)據(jù)架構(gòu)師”這樣的角色起到越來越重要的作用。能力越大責(zé)任也就越大，因此對于這個角色也有了越來越高的要求。那到底對于數(shù)據(jù)架構(gòu)師有什么要求呢？對于想成為數(shù)據(jù)架構(gòu)師的同學(xué)職業(yè)方向需要如何做合理的規(guī)劃呢？

（來源：數(shù)據(jù)從業(yè)者 ）

文章將從云計算基建、大數(shù)據(jù)基建、數(shù)據(jù)構(gòu)建、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用5個角度，闡述數(shù)據(jù)架構(gòu)師的必備技能和素養(yǎng)。

云計算基建

傳統(tǒng)的IT架構(gòu)已存在幾十年，隨著企業(yè)業(yè)務(wù)的快速發(fā)展，對于業(yè)務(wù)的可用性要求越來越高，對于成本的壓力也越來大。是否存在一種方式能以更低成本、更高性能和可用性的方式支持新時代的企業(yè)信息化要求？
部分互聯(lián)網(wǎng)公司由于自身業(yè)務(wù)快速發(fā)展的原因，做了大量嘗試。阿里巴巴率先發(fā)起的“去IOE運動”：將IBM機(jī)器替換成云上服務(wù)器，將ORACLE數(shù)據(jù)庫替換成云上數(shù)據(jù)庫，將EMC存儲替換成云上存儲服務(wù)器。帶來的不僅僅是成本的降低，同時也提供了更加穩(wěn)定、安全的環(huán)境。云計算作為信息時代的水、電、煤已成為行業(yè)共識。隨著云計算的興起，企業(yè)全面上云的拐點已到。作為一名合格的數(shù)據(jù)架構(gòu)師，對云計算基礎(chǔ)設(shè)施需要有充分的理解。

• 首先，相較于傳統(tǒng)的服務(wù)器，架構(gòu)師需要了解云上是如何實現(xiàn)穩(wěn)定、彈性、安全、成本、易用、擴(kuò)展的云上服務(wù)器的。還包括如何實現(xiàn)物理資源的虛擬化，如何通過彈性伸縮從容面對業(yè)務(wù)的峰谷，如何通過多地域多可用區(qū)實現(xiàn)容災(zāi)等。另外，數(shù)據(jù)架構(gòu)師需要能評估服務(wù)器所需資源類型，通過技術(shù)調(diào)研和論證，得出所需要的服務(wù)器的資源，例如面對不同的業(yè)務(wù)和技術(shù)場景，企業(yè)需要的是緊湊型、通用型、均衡型、內(nèi)存型、獨享型哪種類型的服務(wù)器。
• 其次，網(wǎng)絡(luò)同樣也是數(shù)據(jù)架構(gòu)師必須掌握的基礎(chǔ)知識，如何設(shè)計安全的網(wǎng)絡(luò)機(jī)制、如何規(guī)劃合理的網(wǎng)絡(luò)配置、如何進(jìn)行可靠的網(wǎng)絡(luò)連接（包括不同虛擬網(wǎng)絡(luò)之間以及與客戶本地IDC進(jìn)行連接方式等），都是數(shù)據(jù)架構(gòu)師在工作中會遇到的各種挑戰(zhàn)。
• 最后，數(shù)據(jù)架構(gòu)師需要了解各種云上數(shù)據(jù)庫（包括關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫等）的應(yīng)用場景、產(chǎn)品特性等。以及如何保障其可靠性，安全性、可用性、擴(kuò)展性、成本。另外還有對象存儲產(chǎn)品的特性，如何對視頻、圖片等數(shù)據(jù)進(jìn)行有效的管理。如何通過CDN等手段提高用戶訪問響應(yīng)速度。

大數(shù)據(jù)基建

大數(shù)據(jù)借著云計算的東風(fēng)，也開始在信息時代發(fā)揮越來越重要的地位。阿里巴巴提出的數(shù)據(jù)中臺概念和實踐，也在云上落地開花。面對體量巨大、時效要求高、形式多樣化、價值密度低的企業(yè)大數(shù)據(jù)，對于數(shù)據(jù)架構(gòu)師，需要在采集、計算、存儲等基礎(chǔ)技術(shù)的原理和應(yīng)用場景形成自己的知識體系。

• 首先，數(shù)據(jù)架構(gòu)師需要了解業(yè)界通用的PC端和無線端采集、爬蟲采集等場景的具體方案。理解從埋點申請、可視化埋點實施、驗證、發(fā)布到監(jiān)控的全生命周期管理。
• 其次，對于離線計算和實時計算的模式和原理，以及對應(yīng)場景的離線計算和實時計算的產(chǎn)品都應(yīng)該熟悉掌握，在洞察客戶需求后，能合理的做計算模式的選擇和判斷。
• 最后，大數(shù)據(jù)在存儲上與業(yè)務(wù)系統(tǒng)在場景和目標(biāo)上的本質(zhì)區(qū)別，需要理解如HDFS的大數(shù)據(jù)存儲原理、MPP架構(gòu)的原理和常用場景、消息中間件用于實時計算的方式等。

數(shù)據(jù)構(gòu)建

數(shù)據(jù)架構(gòu)師很重要的職責(zé)就是思考如何對數(shù)據(jù)做合理有效的構(gòu)建，形成標(biāo)準(zhǔn)、統(tǒng)一、可公用、可理解的公共數(shù)據(jù)，讓業(yè)務(wù)能夠盡情在建設(shè)好的數(shù)據(jù)上馳騁沙場，利用數(shù)據(jù)創(chuàng)造出業(yè)務(wù)價值。

• 首先，好的數(shù)據(jù)體系能夠?qū)?shù)據(jù)進(jìn)行有效的橫向分層，合理的縱向分類。通過數(shù)據(jù)體系的構(gòu)建，能夠讓數(shù)據(jù)生產(chǎn)者更合理高效的組織數(shù)據(jù)，數(shù)據(jù)消費者能更有效的理解和獲取所需數(shù)據(jù)，數(shù)據(jù)管理者能更高效的管理好數(shù)據(jù)。因此數(shù)據(jù)架構(gòu)師需要能從全局上對數(shù)據(jù)體系有個整體上長遠(yuǎn)的規(guī)劃。
• 其次，數(shù)據(jù)需要能夠被更好的組織和使用還需要有合理的數(shù)據(jù)建模方法論的支撐，例如基于維度建模的數(shù)據(jù)構(gòu)建方式能夠讓數(shù)據(jù)以事實表和維度表的方式的方式向上提供數(shù)據(jù)服務(wù)，并且預(yù)先通過基于分析對象的匯總數(shù)據(jù)能夠提供統(tǒng)一標(biāo)準(zhǔn)的業(yè)務(wù)指標(biāo)定義。數(shù)據(jù)架構(gòu)師需要有理解業(yè)務(wù)、抽象實體、形成模型的知識體系，并且在遇到問題時能從合理性、可擴(kuò)展性、易用性、可理解性等各種角度給出模型設(shè)計的合理解決方案。
• 最后，就算數(shù)據(jù)架構(gòu)師不需要做代碼開發(fā)，可是這個能力是對數(shù)據(jù)架構(gòu)師最基本的要求，只有充分理解了數(shù)據(jù)加工的整個過程，才能基于數(shù)據(jù)的思維去設(shè)計好數(shù)據(jù)體系。在碰到項目開發(fā)同學(xué)遇到數(shù)據(jù)處理問題時，能夠及時提供有效的幫助，對于建立項目中的信任關(guān)系也起到了關(guān)鍵的作用。

數(shù)據(jù)管理

數(shù)據(jù)質(zhì)量是數(shù)據(jù)能被信任的關(guān)鍵，也是數(shù)據(jù)中臺建設(shè)能否成功的關(guān)鍵。因此數(shù)據(jù)架構(gòu)師需要設(shè)計事前、事中和事后的數(shù)據(jù)質(zhì)量檢測和處理機(jī)制，保證數(shù)據(jù)在完整性、準(zhǔn)確性、及時性、一致性上滿足業(yè)務(wù)的要求。

數(shù)據(jù)架構(gòu)師還需要保證數(shù)據(jù)治理能夠形成有效的閉環(huán)，從發(fā)現(xiàn)治理問題、推送給責(zé)任人、引導(dǎo)治理動作、治理效果評估、到下一次進(jìn)行新的治理問題發(fā)現(xiàn)，根本上杜絕數(shù)據(jù)“有人生、沒人養(yǎng)”的困局。就像環(huán)境治理一樣，只有基于體系化的長效機(jī)制才能還我們綠水青山。

數(shù)據(jù)是一把雙刃劍，因為它在給業(yè)務(wù)帶來價值的同時，數(shù)據(jù)安全的問題是另一把可致企業(yè)于死地的利劍。數(shù)據(jù)架構(gòu)師要對數(shù)據(jù)安全規(guī)劃做在最前頭，從數(shù)據(jù)產(chǎn)生到消亡全生命周期進(jìn)行安全制度和流程的規(guī)劃，同時需要通過如差分隱私、保序脫敏等各種技術(shù)手段保障數(shù)據(jù)安全。

數(shù)據(jù)只有讓業(yè)務(wù)充分使用才能產(chǎn)生價值，因此首先數(shù)據(jù)架構(gòu)師需要思考如何提高數(shù)據(jù)的易用性，包括從數(shù)據(jù)的業(yè)務(wù)視角組織形式、數(shù)據(jù)標(biāo)準(zhǔn)口徑的定義方式、基于元數(shù)據(jù)幫助業(yè)務(wù)理解數(shù)據(jù)等方式。再次，數(shù)據(jù)是有成本的，因此需要能夠更好的衡量數(shù)據(jù)帶來的價值，形成數(shù)據(jù)資產(chǎn)ROI，再配合相應(yīng)的數(shù)據(jù)運營手段，才能讓數(shù)據(jù)資產(chǎn)化和價值化互相促進(jìn)發(fā)展，相愛相生。

數(shù)據(jù)應(yīng)用

數(shù)據(jù)架構(gòu)師需要能夠讓數(shù)據(jù)更好的服務(wù)業(yè)務(wù)，但是應(yīng)拋棄疲于奔命于各種跑數(shù)取數(shù)的深淵中，需要能跳出一個個單點的需求，能更全面的思考如何主動服務(wù)業(yè)務(wù)。

• 首先，數(shù)據(jù)架構(gòu)師需要有很強(qiáng)的業(yè)務(wù)理解能力，對客戶的業(yè)務(wù)能基于行業(yè)視角有清晰的理解，并且能基于理解做進(jìn)一步的抽象，抽象出業(yè)務(wù)的本質(zhì)。
• 其次，數(shù)據(jù)架構(gòu)師能從業(yè)務(wù)方的需求、對業(yè)務(wù)和數(shù)據(jù)的理解沉淀出一系列的分析思路。也需要能通過算法結(jié)合數(shù)據(jù)，思考如何進(jìn)行數(shù)據(jù)的深度挖掘，挖掘出高價值數(shù)據(jù)。最終能將思路和方法通過產(chǎn)品化的方式沉淀，主動服務(wù)業(yè)務(wù)，與業(yè)務(wù)共創(chuàng)數(shù)據(jù)價值。
• 最后，數(shù)據(jù)的本質(zhì)是為了賦能商業(yè)、創(chuàng)造商業(yè)，因此數(shù)據(jù)架構(gòu)師需要有一定的商業(yè)思維，能理解數(shù)據(jù)如何使商業(yè)更加智能，如何驅(qū)動商業(yè)的發(fā)展，如何創(chuàng)造新的商業(yè)形態(tài)。

總結(jié)

技術(shù)到業(yè)務(wù)，方法論到產(chǎn)品化，全局規(guī)劃到細(xì)節(jié)把控，數(shù)據(jù)架構(gòu)師需要在大數(shù)據(jù)的方方面面都承擔(dān)起重要的作用。更重要的是，需要有對大數(shù)據(jù)行業(yè)未來的信心、對職業(yè)發(fā)展方向的恒心、對漫長落地過程的耐心、對賦能商業(yè)的熱心。

阿里巴巴數(shù)據(jù)中臺團(tuán)隊，致力于輸出阿里云數(shù)據(jù)智能的最佳實踐，助力每個企業(yè)建設(shè)自己的數(shù)據(jù)中臺，進(jìn)而共同實現(xiàn)新時代下的智能商業(yè)！
阿里巴巴數(shù)據(jù)中臺解決方案，核心產(chǎn)品：

• Dataphin，以阿里巴巴大數(shù)據(jù)核心方法論OneData為內(nèi)核驅(qū)動，提供一站式數(shù)據(jù)構(gòu)建與管理能力；
• Quick BI，集阿里巴巴數(shù)據(jù)分析經(jīng)驗沉淀，提供一站式數(shù)據(jù)分析與展現(xiàn)能力；
• Quick Audience，集阿里巴巴消費者洞察及營銷經(jīng)驗，提供一站式人群圈選、洞察及營銷投放能力，連接阿里巴巴商業(yè)，實現(xiàn)用戶增長。
  

總結(jié)

以上是生活随笔為你收集整理的数智化时代合格数据架构师如何养成？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。