再问数据中台 - 数据中台是什么？
數據中臺需求的出現，是企業數字化轉型的一個標志性的轉折，數據中臺成為熱點，標志著，“在企業信息化或者數字化的歷史上，數據從來沒有距離業務這么近，數字化轉型正從流程優先走向數據優先”。要想從根本上理解數據中臺是什么，要認識到數據和軟件的關系
信息化和數字化的本質區別是：
????“信息化是用軟件工程技術局部支撐和改良業務，數字化是用數字化技術重塑和轉型業務本身”，而數據則是構成數字化業務世界的原子材料。
????數據從應用誕生的那一天開始就存在，但是，數據并不是第一天就被存儲和利用的，應用和數據的發展是不同步的，數據的地位是不斷演進，越來越重要的，經歷了以下五個階段：
?
階段1：數據沒有被存儲
早期的應用，是為了解決某一個單點的問題，比如計算器，計算過程的數據是不被存儲的，但是計算的過程中，數據是客觀存在的。這個階段，數據是應用的過程產物，產生即丟棄，并不被存儲。
?
階段2：只有少量結果數據被存儲和查詢
當應用的功能豐富后，軟件從解決單點問題的工具演進到處理一類業務問題，從而有了多個功能模塊。典型的例子是辦公自動化系統、進銷存系統，這個時候少量的結果數據被存儲起來，并且也有了對數據的查詢、統計的需求。這個時候，數據是關鍵業務的記錄。
?
階段3：數據倉庫出現，數據被大量存儲
接著，企業級管理系統比如ERP、MES、CRM的出現，企業管理層需要跨條線，跨職能了解和掌握整體的經營情況，從而根據這些數據來幫助企業做決策。這個時候商務智能，傳統數據倉庫系統應運而生的出現了，數據在企業管理中的作用開始顯現。但是這個時候的數據距離業務很遠，為業務提供支持的速度很慢，往往是先有了業務想法和需求，先有“領導要看什么”，然后在去采集和處理對應的數據做出什么報表給到領導
?
階段4：數據的深入價值開始被挖掘
傳統數據倉庫還是基于流程的，原因是數據倉庫的需求還是來自于預先的設計，來自于固有流程數據的整合。而這個時候，企業的業務已經有了一定的復雜度，企業管理人員希望從數據當中發現一些隱藏的未知的價值和規律。而這個時候預定義的查詢條件，預定義的業務主題已經不能滿足這樣的需求，所以在數據倉庫基礎上，產生了數據挖掘的技術，業務從數據中發現市場的規律，洞察客戶的興趣，產生一些人們不知道的信息。這個階段在市場營銷、生產調度等影響因子較多，動態性較大的業務領域，數據的重要性愈加凸顯。
以上四個階段，基本上都處于“業務數據化”的階段
?
階段5：業務數據化，數據成為企業核心資產
到了數字化時代，所有的一切都被數字化的技術所重構，而數據是構成數字化世界的基礎。數據如同石油一樣，成為新時代的資源，從數據當中挖掘價值，從數據當中去產生創新已經成為了所有企業的共識。這個時候，數據成為了企業的核心資產，所有的業務都被數據化。
那么，數據中臺到底是什么呢？
用一句話來簡單的介紹，“數據中臺是數據服務(Data API)工廠”，數據中臺的核心是Data API。
Data API是數據中臺的核心，它是連接前臺和后臺的橋梁，通過API的方式提供數據服務，而不是直接把數據庫給前臺、讓前臺開發自行使用數據。至于產生DataAPI的過程，怎么樣讓DataAPI產生得更快，怎么樣讓DATA API更加清晰，怎么樣讓DATA API的數據質量更好，這些是要圍繞數據中臺去構建的能力。
????某多產業現代物流集團，在2017年就通過構建企業級數據中臺，為業務人員提供了數據資產創新服務，將數據以API的形式提供給前臺，從而將新產品從想法到上線的時間，提高了數倍。
????在金融領域，所有的產品、服務、交易本身就是數據化的。我們看到最復雜的業務領域，電信行業現在的網絡建設，網絡優化，大部分工作都是在電腦上，利用各種工具軟件來處理基站和網絡的數據，將網絡洞察數據轉換成網絡擴容需求數據，將擴容需求數據設計成網絡架構數據，在講網絡架構數據處理成各種不同設備型號的配置數據，同步的產生財務、物流、服務數據等。整個過程90%的工作量在處理各類數據，最后把結果數據傳遞到現實世界，安排發貨，安裝，驗收等行為。而現在所提倡的工業4.0，智能制造本身也是將生產過程數據化，在數字化世界里用數據來重構工廠本身，從而利用數字化的強大的計算能力，快速的搜索能力，數據的預測能力來增強和優化業務本身。
????未來企業的業務運營，從操作本質上來講就是加工和處理數據。數據中臺就是企業的數據服務工廠，完成從數據到價值的加工過程。
傳統的信息化建設過程中，數據對業務的貢獻是靠人看報表，從數據中理解和發現了新的思想后，通過傳統的溝通方式（開會，新需求）來對業務產生影響和指導的。
?
????數字化時代，數據中臺對于企業的價值，是加速從數據到價值的過程，提高企業的響應力。
?
????原來從數據報表的產生到改變業務行為是以周為單位去計算的，而數據中臺的價值是通過抽象和生產數據服務，更快的影響和改變業務行為本身，這就是有的企業將數據服務直接嵌入到交易系統中，實時通過數據洞察來改變業務流程和應用本身。
?
????某金融科技企業，構建自己的實時風控數據中臺，將原來的報表系統變成實時的智能預警平臺，將合規評估從事后的模式，直接改變成事前的模式，就像在業務的高速公路上建設了一個個的風控檢查站，檢查站通過高速的建模，實時數據分析，能夠在不影響業務速度的情況下，實時對來往的車輛做風控評估，如果有的車輛有風險，則實時預警。
????將傳統的數據服務，從事后管控的模式提高到事前評估的模式，打造高數據響應力的企業是數據中臺對于業務的核心價值。
????數據中臺還能夠為企業解決數據開發和應用開發不同步的問題。
? ? ?
????我們要接受并認可一個現實問題，那就是，企業的數據開發是跟不上應用的開發速度，更是跟不上業務的變化速度的。這是一個不可調和解決的問題，從市場變化到業務需求，到應用開發到沉淀成數據，這三者的速度是天生不一致的，這樣的不一致會帶來很多的問題，包括有開發效率的問題，有團隊協作的問題，有技術能力的問題。比如，為什么開發一個報表需要十幾個人天，并且大部分時間都是花在找數據，對數據，算數據上。為什么同樣的一個數據需求，不同的項目就要開發兩邊，不能共用，不能做到一個數據出口？為什么一般的Java開發人員不能掌握數據處理，ETL的能力？
?
????數據中臺就是要將這些能力都沉淀到一個體系中，變成數據開發的能力，變成可以復用，二次加工的數據服務工廠，加快數據開發和協作的速度。
?
????我們可以廣義上來給數據中臺一個企業級的定義：“聚合和治理跨域數據，將數據抽象封裝成服務，提供給前臺以業務價值的邏輯概念”。
?
????從T+N到T+0，數據中臺將融合OLTP和OLAP，為前臺業務提供更快的數據類業務服務
????十幾年前，數據處理的流程分成兩類，聯機交易處理類（OLTP）和聯機分析處理類(OLAP)，分別對應兩類業務需求：“T+0”和”T+N”，這是因為軟件的計算能力有限，生產系統無法容納歷史數據的查詢統計功能，否則就會導致海量數據的查詢，拖垮生產系統的正常交易。所以不得已一個業務系統分成了兩個：交易型系統和分析型系統，前者用來處理最新的交易業務，后者用來對歷史的、集成的、多維的數據進行分析，支撐業務。
我們舉一個常見的電商價格策略調整的場景，原來的電商系統的價格是提前設置好的錄入到電商系統數據庫的，電商系統是OLTP也就是在線交易系統。電商系統對于實時性能要求很高，處理的并發交易量很大，為了提高數據庫的處理速度，電商系統只保存一段時間內的交易數據，而把歷史數據都歸檔到數據倉庫系統也就是OLAP系統里。電商的運營部門定期會在OLAP系統里挖掘歷史數據來分析不同的商品的交易數據和價格的關系，然后決定電商系統的價格是不是需要調整。所以傳統電商系統，產品價格的變化需要一個比較長的周期的。到了今天，價格本身受影響的維度越來越多，市場需要電商系統的價格能夠實時的根據歷史數據進行變化，這樣一來，傳統的OLTP和OLAP分離的架構就不能夠滿足業務需求了。
?
????隨著大容量高速存儲技術的發展、計算能力的提升、微服務、大數據架構的出現，OLTP和OLAP在逐漸融合：應用系統能夠實時的基于多維、多渠道、歷史數據的分析來定制化交易流程和和行為。OLTP和OLAP從平行的關系，變成垂直的關系。
?
????剛才舉的電商的例子是互聯網時代的典型場景，而對于比較傳統的金融保險行業來說，目前也正面臨著這樣的挑戰。很多保險產品的報價需要進行信息搜集，評估，審核，而這個過程就是數據的采集，建模，評估，模擬的過程，過去這樣的業務都是”T+N”，就是從接到交易申請到給出結果，需要N天，而現在市場的競爭愈加激烈，更快，更準確的給出報價，所以業務要就能夠盡量做到”T+0”，實時響應市場的需求。
?
????這就意味著要把原來的OLAP的歷史數據分析，建模，評估的過程和OLTP系統里的交易數據進行融合分析才能夠做到。
?
我們觀察到，從金融保險到電信制造，原來傳統的”T+N”的需求都在朝”T+0”演進，大家都在尋找高響應力，快速反饋的實時分析型數據數據處理架構，將數據從原來傳統的經營分析領域演進到直接參與業務交易。
?
????所以我們認為未來的交易型系統，都會變成分析型交易系統(Analytic ?Transcation Processing)，具有跨域、全量數據分析的支持能力，用數據分析來支持交易的動態敏捷變化，高速響應市場和用戶的需求，而OLTP和OLAP也會在云計算，微服務，大數據等技術支撐下逐漸融合。
?
總結
以上是生活随笔為你收集整理的再问数据中台 - 数据中台是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： PMI思维方法
- 下一篇： C# Ado.NET连接Sql-serv