簡介：?這是史上數(shù)據(jù)量、計(jì)算量最大的一年，是實(shí)時(shí)處理要求最高、與機(jī)器智能結(jié)合性最強(qiáng)的一次雙11，也是全球最大規(guī)模的一次云原生實(shí)踐。背后作為數(shù)據(jù)核心支撐的大數(shù)據(jù)平臺(tái)更是創(chuàng)下新的世界紀(jì)錄。

剛剛結(jié)束的2020天貓雙11又創(chuàng)下兩項(xiàng)新記錄：交易額4982億，訂單創(chuàng)建峰值每秒58.3萬筆。

這是史上數(shù)據(jù)量、計(jì)算量最大的一年，是實(shí)時(shí)處理要求最高、與機(jī)器智能結(jié)合性最強(qiáng)的一次雙11，也是全球最大規(guī)模的一次云原生實(shí)踐。

背后作為數(shù)據(jù)核心支撐的大數(shù)據(jù)平臺(tái)更是創(chuàng)下新的世界紀(jì)錄。

2020雙11的交易中，阿里云大數(shù)據(jù)平臺(tái)完成云原生史上最大規(guī)模的大數(shù)據(jù)算力和實(shí)時(shí)處理能力。MaxCompute 批處理單日計(jì)算數(shù)據(jù)量達(dá)1.7EB，相當(dāng)于為全球77億人每人存儲(chǔ)230張1080P高清照片；實(shí)時(shí)計(jì)算Flink峰值40億條／秒，約合7TB／秒，相當(dāng)于一秒處理500萬本新華字典的信息量；MaxCompute 交互式分析（下稱Hologres）峰值實(shí)時(shí)寫入5.96億條記錄／秒。

此外，云原生實(shí)時(shí)數(shù)倉首次在2020雙11核心數(shù)據(jù)場景落地。Flink+Hologres實(shí)現(xiàn)商業(yè)全鏈路實(shí)時(shí)化，毫秒級(jí)海量數(shù)據(jù)處理能力，為商家和消費(fèi)者帶來了更加智能的消費(fèi)體驗(yàn)。菜鳥提升物流包裹流轉(zhuǎn)效率，整體數(shù)據(jù)鏈路從小時(shí)級(jí)同步直接優(yōu)化到3分鐘；餓了么提升單個(gè)商圈的獲客效率，商圈Leads密度提升50%以上；CCO客服作息智能調(diào)配業(yè)務(wù)接入應(yīng)用效率提升，平均等待時(shí)間降低；供應(yīng)鏈平臺(tái)供應(yīng)商入駐效率提升，平均耗時(shí)下降78%，駁回率下降55%……

MaxCompute 是面向分析的安全可靠的大數(shù)據(jù)計(jì)算服務(wù)，它以Serverless架構(gòu)提供快速、全托管的在線數(shù)倉服務(wù)，是阿里經(jīng)濟(jì)體數(shù)據(jù)中臺(tái)的計(jì)算核心和阿里云大數(shù)據(jù)的基礎(chǔ)服務(wù)。MaxCompute基于動(dòng)態(tài)資源彈性和統(tǒng)一調(diào)度能力，支持阿里經(jīng)濟(jì)體混部，并從物理機(jī)和神龍實(shí)例升級(jí)到安全容器，擁抱云原生和統(tǒng)一調(diào)度的整體能力。

MaxCompute 5年來持續(xù)刷新TPCx-BigBench世界記錄，今年10月 TPC 官網(wǎng)最新發(fā)布 100TB規(guī)模達(dá)到26000+QPM。

Flink從2015年承載搜索和推薦實(shí)時(shí)化開始，已經(jīng)覆蓋阿里經(jīng)濟(jì)體絕大多數(shù)實(shí)時(shí)計(jì)算需求，擁有全球領(lǐng)先的實(shí)時(shí)計(jì)算規(guī)模。在流批一體的設(shè)計(jì)理念下，Flink自研了全新的流批SQL統(tǒng)一處理框架、智能優(yōu)化服務(wù)Autopilot和新一代狀態(tài)存儲(chǔ)Gemini，大大提升用戶的業(yè)務(wù)開發(fā)和支持效率。在阿里的海量場景打磨之下，Flink開源社區(qū)已連續(xù)兩年榮膺Apache開源軟件基金會(huì)最活躍項(xiàng)目的稱號(hào)。

Hologres是自研的分布式實(shí)時(shí)數(shù)據(jù)倉庫引擎，歷經(jīng)多次雙11技術(shù)歷練。它支持PB級(jí)數(shù)據(jù)交互式分析場景，面向高吞吐寫入高度優(yōu)化，支持?jǐn)?shù)據(jù)實(shí)時(shí)寫入、實(shí)時(shí)更新、實(shí)時(shí)查詢的全鏈路實(shí)時(shí)化能力，在一個(gè)引擎中同時(shí)支持了復(fù)雜多維分析和高性能服務(wù)查詢兩個(gè)場景，是分析服務(wù)一體化的最佳行業(yè)實(shí)踐。Hologres技術(shù)創(chuàng)新發(fā)表在數(shù)據(jù)庫界全球頂級(jí)學(xué)術(shù)會(huì)議VLDB 2020。

據(jù)稱，阿里云大數(shù)據(jù)平臺(tái)不僅穩(wěn)定支撐阿里經(jīng)濟(jì)體的數(shù)據(jù)計(jì)算業(yè)務(wù)，經(jīng)過雙11大規(guī)模場景驗(yàn)證之后，更是云上客戶大數(shù)據(jù)平臺(tái)的重要組成部分，涵蓋互聯(lián)網(wǎng)、金融、交通、IOT、新零售等領(lǐng)域的龍頭企業(yè)。點(diǎn)此查看更多

?

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的云原生实时数仓首次在2020双11核心数据场景落地的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。