一、大數據平臺

        大數據平臺是一個技術平臺。這個技術平臺提供了對于大數據的分布式采集，存儲，流處理和計算，實時分析等能力。在沒有大數據平臺前也有數據集成和管理的平臺，這種平臺可以實現對結構化數據本身的采集，集成和管理。

存儲能力

• 分布式文件系統,不論是基于磁盤還是基于內存,只是不同存儲成本的文件系統,帶來不同存儲性能和特性
• MQ類的主要支持數據采集和實時計算
• 數據庫主要支持查詢類和實時計算,類別很多,關系型,nosql,各有千秋

計算能力

• 離線計算,提供批處理計算能力,主要負責天,周,月等數據生產,主流的像早期的mr,后期的spark等
• 實時計算,提供實時數據處理能力,負責實時數據生產,當然實時離線是我們人為劃定的時間界限,對于引擎而言,像spark,flink都提供實時和離線的解決方案
• 算法平臺,主要提供機器學習,人工智能,數據挖掘的計算能力,算法框架的選擇也是很多,當然在大數據生態還是需要運行在yarn這樣資源管理平臺,才可以發揮大數據的價值
• 查詢類服務,提供一些和用戶交互的查詢能力,像一些mpp框架等,多數提供sql查詢能力

管理平臺

• 管理平臺,是在原生的大數據生態的基礎之上,為了更好的管理集群服務,管理集群的資源,提供靈活SRE能力和資源核算審計能力的一系列工具和合稱整體架構

 數據倉庫(DW)系統

• 數據中臺包括數據倉庫的全部內容,數據倉庫為數據

總結

以上是生活随笔為你收集整理的大数据平台、从数仓 到 数据中台的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。