簡介：這是淘特在阿里巴巴參與的第二個雙11大促，大促期間累計超過上千萬消費(fèi)者在此買到心儀的商品，數(shù)百萬家商家因為淘特而變得不同，未來，淘特也將會繼續(xù)更好的服務(wù)于下沉市場，讓惠民走近千萬家。

2021年11月11日23:59:59，阿里巴巴淘特（淘寶特價版）的第二個雙11完美落下帷幕。在雙11大促期間，淘特歷經(jīng)多個大促爆發(fā)高峰，豐富的權(quán)限玩法，各類高性價比貨品，大促期間累計超上千萬人在淘特買到質(zhì)美價廉的商品。本次雙11大促中，淘特?zé)o論是流量、買家還是訂單數(shù)都創(chuàng)下新的記錄，交出了完美答卷，這也意味著，阿里巴巴在下沉市場開始斬露頭角。

業(yè)務(wù)簡介與面臨的問題

淘特(原淘寶特價版)定位為消費(fèi)者帶來低價且有質(zhì)量的源頭好貨，目前仍然處于用戶快速增長的階段，其中三方線上廣告投放具有規(guī)模效應(yīng)大，行業(yè)成熟度高等特點(diǎn)，是平臺用戶引流的重要渠道。

在淘特為期30多天的雙促期間（雙10，雙11），市場競爭尤為激烈，渠道投放策略的及時優(yōu)化調(diào)整是保障獲量與控本的重要手段。同時針對下沉用戶偏好簡單的玩法和獨(dú)特區(qū)域性貨盤的特點(diǎn)，平臺需要創(chuàng)新研發(fā)各類簡單易于理解的營銷玩法，和相應(yīng)的站內(nèi)流量分發(fā)機(jī)制，促使更多的用戶可以邊玩邊買。

由于本次大促具有時間長與高爆發(fā)兩個特點(diǎn)，在這個過程中，我們面臨這這么幾個問題：

流量低價獲客：線上廣告創(chuàng)意規(guī)模大，但拉新拉活效果成本參差不齊。但因為不同時間波段流量差異大，如何通過探索式分析，快速定位問題廣告或者挖掘新機(jī)會，為大促提供持續(xù)穩(wěn)定的高質(zhì)量流量成為了優(yōu)化師們進(jìn)行投放優(yōu)化的首要問題。

極簡營銷玩法：大促新上各類營銷玩法，營銷玩法的效果需要實時監(jiān)控。如何實時多維分析，幫助業(yè)務(wù)進(jìn)行實現(xiàn)不同場景的不同效果分析，最終反哺業(yè)務(wù)實現(xiàn)大促交易目標(biāo)。

貨商高效汰換：貨品是電商的核心，超長大促周期下，會場同學(xué)需要進(jìn)行會場貨品調(diào)優(yōu)，行業(yè)同學(xué)需要通過貨品類目進(jìn)行供給調(diào)整，還有風(fēng)控、商家管理等多個角色，均需要通過對單商單品的精準(zhǔn)強(qiáng)控。其中如何通過實時聚合排序，及時對低效能貨品的汰換，避免流量與轉(zhuǎn)化效率的錯配。

解決方案

圍繞淘特雙10&雙11，基于上述在流量投放優(yōu)化、營銷玩法多維分析，品商實時排序等面臨的業(yè)務(wù)問題下，我們構(gòu)建了一套基于實時數(shù)倉Hologres的統(tǒng)一數(shù)據(jù)服務(wù)系統(tǒng)，從流量、玩法、貨品全方面監(jiān)控數(shù)據(jù)，支持業(yè)務(wù)在大促期間的精細(xì)化運(yùn)營訴求。

下面分別從三方面內(nèi)容講述淘特在這一領(lǐng)域的實踐。

優(yōu)化投放持續(xù)低價獲客

場景介紹和特點(diǎn)：廣告投放場景偏探索分析，具有查詢頻率中，查詢復(fù)雜程度高，對延遲容忍度相對較高等特點(diǎn)。分析師需要從一縱一橫兩個視角進(jìn)行投放優(yōu)化，一橫即可以從廣告創(chuàng)意到廣告組、計劃、賬戶、代理、媒體等不同顆粒度。一縱即從展示、點(diǎn)擊、消耗的前鏈路數(shù)據(jù)到激活、新登、喚端、下單、支付等后鏈路數(shù)據(jù)。再疊加時間維度進(jìn)行分析與優(yōu)化。

實現(xiàn)方案：考慮到上卷與下鉆維度非常多，且查詢不固定，無法采用預(yù)計算模式，因此我們選擇圍繞最細(xì)顆粒度廣告創(chuàng)意進(jìn)行加工，將各類維度屬性冗余成標(biāo)簽，前后鏈路的效果作為指標(biāo)，存儲在Hologres上，將分析師在投放中心上的優(yōu)化的查詢邏輯轉(zhuǎn)變?yōu)榛诿骷?xì)數(shù)據(jù)的再篩選、聚合、加工的方案。

挑戰(zhàn)與優(yōu)化：探索式靈活分析，復(fù)雜查詢，對Hologres都會產(chǎn)生較大的性能壓力，我們主要考慮了存儲優(yōu)化、選擇分布列和索引優(yōu)化三種種優(yōu)化方式。

在存儲方式上，由于外投中心的使用場景是以范圍查詢、單表聚合為主，所以選用列存的存儲方式。

此外由于分布列將文件組分成不同shard，然后優(yōu)先在各shard內(nèi)執(zhí)行join和group by操作，所以選用了常用的關(guān)聯(lián)鍵和聚合維度account_id, campaign_id, adgroup_id, agent, creative_id。

在索引優(yōu)化上，根據(jù)不同索引方式我們選用了不同的字段作為key來優(yōu)化查詢速度。首先是選用了creative_id作為聚簇列，適用于范圍查詢和篩選所用字段。使用比特編碼索引在聚簇后進(jìn)一步進(jìn)行文件內(nèi)位圖索引，適用于等值查詢條件，所以選擇了creative_id, account_id, campaign_id, adgroup_id, agent等常用于等值查詢的字段。最后是分段鍵，該索引是用于標(biāo)識文件邊界，常用的是非空時間戳，這里我們選擇用的是stat_date。

通過上述系列優(yōu)化使得最終98%以上的通過投放平臺過來的探索式分析查詢可以在3s內(nèi)完成。

業(yè)務(wù)收益：該數(shù)據(jù)產(chǎn)品在目標(biāo)三方廣告投放運(yùn)營、產(chǎn)品中覆蓋度100%，運(yùn)營通過該平臺快速高效的定位并解決包括異常掉量、消耗過高等問題計劃數(shù)日均幾十+，使得投放側(cè)的優(yōu)化效率整體提升50%以上。同時還幫助運(yùn)營能夠快速的找到增量價值渠道等。

權(quán)益玩法促用戶成交轉(zhuǎn)化

場景介紹和特點(diǎn)：營銷玩法投放在包含新人、互動、裂變等不同的場域中，玩法的引導(dǎo)效果還與貨盤強(qiáng)相關(guān)，交叉模式以及看數(shù)用數(shù)指標(biāo)相對固定，且相對比較高頻。

實現(xiàn)方案：我們在實時計算Blink中通過直接產(chǎn)出CUBE表，寫入Hologres中，基于該CUBE表搭建數(shù)據(jù)報表。

業(yè)務(wù)收益：大促期間通過效果數(shù)據(jù)針對玩法進(jìn)行了10+優(yōu)化，如通過玩法X場域，為跨店滿減會場新增購物車入口，快速滿足用戶的湊單需求；官方補(bǔ)貼的氛圍鏈路透傳提升轉(zhuǎn)化率等，幫助行業(yè)順利完成目標(biāo)。

商品商家汰換高效分發(fā)流量

場景介紹與特點(diǎn)：運(yùn)營小二為了能夠在大促期間對商品與商家進(jìn)行監(jiān)控與汰換，就需要有細(xì)顆粒的查詢監(jiān)控，同時由于商品會關(guān)注在活動中的各個會場的特色指標(biāo)表現(xiàn)，且部分活動存在跨多天的情況，所以多日累積的數(shù)據(jù)也是運(yùn)營決策的重要參考。

實現(xiàn)方案：我們選擇在實時計算Blink引擎中，完成對最細(xì)顆粒度的商品-人的計算，并將相關(guān)活動指標(biāo)打橫，寫入Hologres。在報表層，根據(jù)運(yùn)營的篩選條件進(jìn)行跨天的匯總到商品、商家粒度的聚合排序。單個分區(qū)日志數(shù)據(jù)商品-人達(dá)到了2億左右數(shù)據(jù)規(guī)模，通過索引、分布列等的優(yōu)化基本可以滿足單表的各類查詢。

挑戰(zhàn)與優(yōu)化：實時離線的數(shù)據(jù)存在一定GAP，在多日的周期下，差異累積放大，導(dǎo)致影響業(yè)務(wù)的決策判斷，另一方面大促期間人力開發(fā)資源緊張，如果用離線數(shù)據(jù)進(jìn)行覆蓋，成本額外增加一倍。在此背景下，引入了流批一體的技術(shù)方案，使用Hologres進(jìn)行統(tǒng)一存儲與計算，并且通過Blink Batch實現(xiàn)了實時離線共用同一套代碼，計算邏輯統(tǒng)一，大幅度降低了重復(fù)開發(fā)與后續(xù)運(yùn)維成本。

業(yè)務(wù)收益：品/商多維度實時排行覆蓋行業(yè)運(yùn)營、會場運(yùn)營小二，通過選品汰換在幾百家會場幫助消費(fèi)者買到心儀商品，并針對挖掘出的潛力商家，及時的給予流量扶持，整體大促期間超過幾百萬商家完成動銷。

業(yè)務(wù)總結(jié)

這是實時數(shù)倉Hologres首次走進(jìn)淘特的雙11大促，在大促期間，Hologers在流量洪峰的壓力下，以99.8%響應(yīng)支撐力多個促銷活動的順利開展。數(shù)據(jù)同學(xué)只需要加工最明細(xì)數(shù)據(jù)，便能通過Hologres構(gòu)建靈活多維的查詢應(yīng)用，整體的研發(fā)效率提升在40%以上(單場景平均5人日下降至3人日)，同時部分原本需要由在線Blink作業(yè)的數(shù)據(jù)計算，轉(zhuǎn)變?yōu)榱瞬樵儠r再計算的模式，整體計算資源預(yù)計有20%左右的減少。

這是淘特在阿里巴巴參與的第二個雙11大促，大促期間累計超過上千萬消費(fèi)者在此買到心儀的商品，數(shù)百萬家商家因為淘特而變得不同，未來，淘特也將會繼續(xù)更好的服務(wù)于下沉市場，讓惠民走近千萬家。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。?

總結(jié)

以上是生活随笔為你收集整理的实时数仓Hologres首次走进阿里淘特双11的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。