丨目錄：

· 前言

· 背景

· 問題定義

· 算法建模

· 實驗

· 總結展望

·?參考文獻

· 關于我們

??前言

面向淘系商家或廣告主的商家理解與建模，是阿里媽媽客戶生態建設的關鍵一環。有別于C端的用戶增長與建模，在數據層面，商家端的客戶意圖與訴求、操作行為更加多樣、復雜，而且數據稀疏；在目標層面上，商家建模的目標更加多樣化，包括目標客戶多樣化以及預測指標的多樣化；在應用場景層面上，隨著淘系廣告業態越來越豐富（比如搜索廣告、信息流廣告、品牌搜索廣告、直播廣告、互動廣告等），商家建模也需要適應多場景的建模需求，可以快速響應不同場景的業務需求。

在本文中，我們提出了一種基于元網絡的多場景多任務模型（M2M），服務于阿里媽媽橫向增長的多種業務，模型具備多目標多場景的預測能力，可以快速賦能不同場景下新的業務需求。該項工作論文發表在 WSDM 2022，歡迎交流討論。

論文下載：

http://arxiv.org/abs/2201.06814

? 背景

圖一 平臺與廣告主交互示意圖

廣告主在阿里媽媽平臺體系中發揮著重要的作用，滿足廣告主的營銷需求并促進廣告主店鋪的發展對于電商平臺的長期繁榮至關重要。然而，無論是工業界還是學術界，目前的研究更加側重于用戶側建模（如CTR預估），對于廣告主建模的關注較少。和用戶側建模方式不同，廣告主建模涉及了多種任務，比如廣告主店鋪的點擊、消耗、平臺活躍天數等。除了多任務的需求，廣告主建模還需要考慮多場景問題。廣告主進入阿里媽媽平臺后，可以選擇在不同的場景（產品線）進行投放。廣告主建模是阿里媽媽平臺與廣告主交互的基礎，交互形式如圖一所示：首先廣告主在單個/多個場景投放廣告；然后模型給出多個場景多個任務下的預測結果；最后模型將預測結果和平臺多樣的產品/運營工具結合，對廣告主產出定制化的任務/消息等，幫助廣告主在平臺留存以及成長。

圖二 解決思路示意圖

在廣告主建模過程中，我們需要建模多場景下的多種任務。在具體建模多任務多場景問題時，我們遇到了很多挑戰。第一，模型可擴展性問題，常規解法可以對每個場景/任務分別建模，但是這種常規解法隨著場景的增多需要建設&維護的模型也會隨之增多，在工業界并不具備可擴展性；第二，樣本稀疏問題，由于不同的場景建立時間、承接廣告主數量等有所差異，導致在小場景或者新場景下模型會面臨樣本稀疏問題，模型的訓練效果會受到影響；第三，場景關系復雜的問題，不同場景之間有著復雜的關聯關系，場景的關聯關系甚至會隨著任務的不同而發生變化，模型需要在捕捉多個任務之間固有關聯的基礎上，捕捉不同場景下多個任務的動態關聯。常規的MTL解法如圖二(a)所示，底層結構為共享信息結構，通過gate（MMOE[1]/PLE[2]等）或者attention（MRAN[3]等）方式，得到特定任務下的信息表征，再通過特定任務的塔結構，最終得到特征任務的預測結果。但是在整個模型架構中沒有顯式的表征場景信息，無法學習復雜的場景關聯。

模型的主要創新點有：

• 通過元網絡Meta Unit顯式的表征場景信息，Meta unit和底層MTL同步進行參數更新，使得模型具備可擴展性；

• 在元網絡Meta Unit的輸入信息中，我們引入了豐富的特定場景相關的先驗信息，緩解了小場景或者新場景下樣本稀疏的問題；

• 模型將元學習思想和多任務模型結合，元網絡作為頂層網絡，MMoE、PLE等多任務模型作為底層網絡，使得模型在捕捉多個任務之間固有關聯的基礎上，還可以捕捉不同場景下多個任務的動態關聯。

??問題定義

廣告主在與阿里媽媽平臺交互的過程中會包含很多信息，歸納為4大類信息：場景屬性信息，定義為，包含廣告主的場景類型，以及相關的一些統計特征；廣告主畫像信息，定義為，包含店鋪類型等基礎屬性信息；多類別行為序列信息，定義為，表示在時間窗口 T 內的多種類別的行為特征。具體的，通過表征廣告主在時間點 時發生的登錄、操作等行為特征；多類別效果序列信息，定義為，表示在時間窗口 內的效果特征。具體的，通過表征廣告主在時間點 時在平臺產生的消耗、點擊等效果特征。

給定場景屬性信息 ，廣告主畫像信息 , 多類別行為序列信息 , 多類別效果序列信息 , 我們需要訓練一個end-to-end模型，預測在未來 天內的多種場景（直通車、超級推薦、極速推等）下的多類任務（店鋪消耗、店鋪點擊、店鋪在平臺的活躍天數等），公式化如下：

其中， 是我們需要學習的函數，預測的時間周期可以擴展為不同時間周期。

? 算法建模

圖三 模型框架圖

模型整體的框架圖如圖三所示，主要包含兩個網絡：第一部分是主干網絡，用來得到特征和任務的嵌入式表征；第二部分是元學習網絡，主要包含三種結構：1）元學習單元：顯式建模場景信息 2）Attention元網絡：捕捉不同場景下多個任務的動態關聯：3）tower元網絡：增強特定場景的表征能力。其中Attention元網絡和Tower元網絡采取級聯方式連接，Attention元網絡的輸出是Tower元網絡的輸入。以下對各子網絡進行詳細的介紹。

主干網絡

主干網絡的作用是對特征信息進行處理，得到特征信息的嵌入式表征，作為后面網絡的輸入。此部分最終得到的嵌入式表征有三種：Expert信息表征、任務信息表征和場景信息表征。

Expert信息表征

表示第 個Expert信息表征，和表征序列信息，Dense表征連續型特征信息。在這里我們采用Transformer，函數對于序列信息進行提取。

任務信息表征

表示特定任務 的任務信息表征，受到MRAN模型的啟發，我們將不同類別的任務進行信息表征，和特征信息保持在同一維度。由于在測試集合中無法得到任務的表征信息，所以這里的任務信息表征是全局的而不是局部的。

場景信息表征

表示場景信息表征，在這里我們將場景信息和id類型信息拼接后，通過全連接層得到最終的場景信息表征。

元學習網絡

圖四 元學習網絡

元學習單元

元學習單元用來顯式建模場景信息，和傳統的建模方式（比如將場景相關信息作為輸入特征加入到模型中）不同，為了更好的捕捉動態的場景關聯關系，我們通過上節講到的場景信息表征作為元學習單元的輸入，元學習單元通過全連接層的方式將進行轉化，為每個場景產出動態的網絡weight和bias：

其中為場景信息表征，在經過全連接層后，再通過一個函數，最終得到weight matrix and bias vector 。通過這種方式最終得到特定場景的元表征后，每個場景動態的weight matrix and bias vector 會作為底層網絡（Attention網絡&Tower網絡）的動態參數，參與到網絡的學習以及替代底層網絡進行梯度更新：

其中，是維度為 的輸入向量，是非線性的激活函數，可以是tanh、ReLU等等，是元學習單元的最終輸出。我們把元學習單元的整個處理過程定義為函數。

Attention元網絡

傳統的alignment attention結構可以建模任務和特征之間的關聯關系，但是忽略了動態的場景因素的影響。因此，我們設計了Attention元網絡，可以在計算attention權重系數的時候引入場景信息，從而可以在不同場景下產出動態的attention權重系數：

其中，是維度為的Expert表征，是維度為的Task表征。是一個轉換向量，得到權重系數。最終，通過對所有的加權求和，我們得到了對于特定任務的表征。

Tower元網絡

在得到特定任務的表征之后，每個任務會通過Tower Layer，輸出每個任務的預測結果。為了進一步增強特定場景的表征能力，和Attention元網絡類似，我們在Tower Layer中引入了元學習單元：

模型訓練

考慮到我們的多類別任務都屬于回歸任務，且反應變量Y近似符合泊松分布，我們采用Possion Loss作為損失函數，最終的優化目標為：

其中，等式右邊的第一項表示對特定任務下loss的加權求和，第二項表示對頂層元網絡和底層多任務結構的參數L2正則化處理， 表征懲罰系數。對于每一個特定任務loss，計算公式為：

? 實驗

離線實驗

對于回歸問題來說，通常使用MAPE（Mean Absolute Percentage Error）評測指標衡量模型的微平均效果，使用NMAE（Normalized Mean Absolute Error）評測指標衡量模型的宏平均效果。在我們的場景中，一些任務的Y值可能為0，在MAPE中無法計算，故用SMAPE（Symmetric Mean Absolute Percentage Error）替代MAPE。SMAPE和NMAE的計算公式為：

其中，N代表帶評測的測試集中廣告主的數量， 和 代表第i個廣告主的預測結果和真實結果。

圖五 整體評估結果圖六 整體評估結果可視化

我們評估了不同模型的實驗結果如圖五所示，我們可以看到我們提出的M2M模型相較于其他baseline在不同任務和不同場景下取得了更好的效果。具體來說，對于場景A、B、C的點擊任務，我們相較于最佳基線效果在NMAE和SMAPE上提升比例分別為 (+ 4.7%, + 24.1%, + 26.7%)和 (+ 6.9%, + 5.4%, + 8.9%) 。同樣的，在活躍天數任務上的提升分別為 (+ 13.3%, + 9.8%, + 12.8%) 和(+ 15.9%, + 24.1%, + 18.9%)。此外，我們發現MMOE，CGC（Customized Gate Control），Cross-Stitich方法優于單一任務學習方法，這表明多任務模型可以很好的捕捉任務之間的相關性。有趣的是，我們注意到對于M2M模型來說，相同的任務在不同場景下提升的比例有所差異，這可能與場景的數據稀疏程度不同有關，模型對于小場景（比如場景B和場景C）的提升作用更加顯著，說明我們的模型通過元學習單元的方式，很好的捕捉了場景之間的關聯信息，緩解了小場景或者新場景下樣本稀疏的問題。最后，我們在圖六呈現了模型性能的詳細可視化，為了方便比較，我們將最好的基線模型CGC也在圖中進行了展示。

在線實驗

圖七 加速任務流程圖

在離線驗證的基礎上，我們進一步在加速寶產品上驗證算法升級的業務效果。加速寶產品的流程如圖七所示，通過模型我們預測出廣告主在未來一段時間的支出，點擊和活躍天數等等，接下來我們選擇平臺活躍水平較低的客戶，根據廣告主在未來一段時間的支出，點擊產出定制化的任務，廣告主通過完成這些任務，得到一些權益獎勵，促進在平臺的活躍。我們比較了新舊兩版模型的業務效果，新版本的模型取得了 + 2.59% 的活躍率提升和+ 2.09% 的每用戶平均收入（ARPU）提升。

? 總結展望

本項工作中，我們針對多場景多任務的問題提出了一個高效且具有較強泛化能力的模型框架M2M，通過構建元學習單元顯式建模場景信息。進一步的，為了更好地表征場景特定信息，我們提出了元學習網絡，該網絡由兩個組件組成：Attention元網絡模塊和Tower元網絡模塊，這兩個模塊是分層組織的：Attention元網絡模塊位于較低位置以捕獲不同場景間相關性，Tower元網絡模塊位于較高位置以增強特定場景特征的表征能力。我們通過離線和在線實驗驗證了模型的有效性，特別指出的是模型在小場景&新場景等數據稀疏的問題中效果提升更加明顯。在未來工作中，我們將進一步的提高模型的通用能力，同時建模分類任務和回歸任務；此外，將M2M模型和Optimization-based的元學習方法結合也是一個有意思的問題。

? 關于我們

我們是阿里媽媽客戶增長算法團隊，致力于構建良好的廣告平臺客戶生態。我們的工作涉及廣告主全生命周期理解與建模、營銷異質內容理解&推薦、冷啟動優化、客戶機制策略等眾多方向，相比C端用戶增長具有更多的挑戰。團隊近一年在WSDM、CIKM等頂級會議發表多篇論文，技術氛圍濃厚，業務前景發展廣闊，歡迎感興趣的同學加入我們！

投遞簡歷郵箱：

alimama_tech@service.alibaba.com

? 參考文獻

[1]Ma J, Zhao Z, Yi X, et al. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2018: 1930-1939.

[2]Tang H, Liu J, Zhao M, et al. Progressive layered extraction (ple): A novel multi-task learning (mtl) model for personalized recommendations[C]//Fourteenth ACM Conference on Recommender Systems. 2020: 269-278.

[3]Zhao J, Du B, Sun L, et al. Multiple relational attention network for multi-task learning[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 1123-1131.

END

也許你還想看

丨阿里媽媽技術團隊4篇論文入選WSDM 2022

丨WSDM 2022 | 合約廣告自適應統一分配框架

歡迎關注「阿里媽媽技術」，了解更多~

瘋狂暗示↓↓↓↓↓↓↓

總結

以上是生活随笔為你收集整理的WSDM 2022 | 基于元学习的多场景多任务商家建模的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。