MaxCompute存储力持续升级,每年节省不止一个亿
數據是開啟全新洞察和機器智能創新的基礎,擁有高性能、穩定、可擴展性強的存儲能力和充沛的計算力,才能全面釋放數據價值。
阿里巴巴大數據計算平臺MaxCompute,作為阿里巴巴統一的計算平臺,支持了整個阿里巴巴集團內部幾乎99%的數據存儲,數據規模已至EB級。同時,MaxCompute也在為數以萬計的云上用戶提供快速、完全托管的 GB到EB 級數據倉庫解決方案,解決用戶海量數據存儲與計算問題。所以說,如何提高數據存儲效率、穩定性、可用性,是MaxCompute存儲團隊不斷努力的方向。
從MaxCompute整體存儲架構來看,存儲層處于MaxCompute Tasks和底層盤古分布式文件系統之間,提供統一的邏輯數據模型給各種各樣的計算任務(包括SQL,XLib,Graph,PAI等),以保證數據在不同類型的Task之間可以互聯互通,同時存儲引擎提供邏輯數據模型到DFS的映射、數據編碼壓縮和文件存儲格式、冷熱數據分離與文件合并歸檔等方面的服務。
在本次存儲升級中,MaxCompute利用新一代數據壓縮算法提供更高壓縮率,并且在不同數據集中都有極佳性能,持續提升MaxCompute存儲和計算能力,帶來存儲費用的下降和計算性能的提升。
新壓縮算法在10TB TPC-DS測試集下,壓縮節省8.38%, 計算節省4.35%。
從資源成本角度看,新壓縮算法比原有算法快5.3%。
MaxCompute作為阿里巴巴的“水電煤”,數據規模巨大,數據的壓縮率和壓縮速度對整個平臺的性能和成本都有著巨大的意義。MaxCompute存儲團隊采用新一代的壓縮算法作為底層壓縮的替代方案,為大規模數據存儲和數據計算帶來了巨大收益。
整體存儲變化趨勢
存儲賬單變化
經實踐,在業務增長量不變的情況下,升級新一代數據壓縮算法后,在阿里巴巴集團內部每年可節省存儲費用可一個億。
對于業務跑在MaxCompute上的公共云客戶而言,本次存儲升級無疑是阿里巴巴技術紅利的又一次釋放,為企業和開發者們提供具備更高存儲效率、穩定性以及可用性的存儲服務,降低存儲成本的同時進一步提升計算性能。
一次升級,集團內外,每年節省不止一個億。
接下來,MaxCompute會持續在存儲加密、冷熱數據分離與文件合并歸檔、文件格式支持AliOrc以及存儲和計算的結合方面持續發力,用先進的技術不斷打磨產品,為云上企業釋放更多技術紅利,幫助企業和開發者抓住更多市場機遇。
?
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的MaxCompute存储力持续升级,每年节省不止一个亿的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 阿里:千亿交易背后的0故障发布
- 下一篇: 精读《手写 SQL 编译器 - 回溯》