星標(biāo)/置頂小屋，帶你解鎖

最萌最前沿的NLP、搜索與推薦技術(shù)

文 |?江城

編 |? 夕小瑤

---

今天分享一篇淘寶發(fā)表在 SIGIR2020?上的關(guān)于知識(shí)圖譜應(yīng)用于大規(guī)模推薦的論文《ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation》，成功應(yīng)用于線上淘寶APP且有明顯效果提升，推薦一讀。

論文鏈接：
https://arxiv.org/abs/2005.12002

公眾號(hào)「夕小瑤的賣萌屋」后臺(tái)回復(fù)關(guān)鍵詞【0715】下載論文PDF

摘要

近年來，知識(shí)圖譜KG由于其豐富的連接信息在推薦上的應(yīng)用越來越引起大家的興趣。現(xiàn)有的方法要么在KG上去探索user-item對(duì)獨(dú)立的子路徑；要么是在整個(gè)KG上使用GNN來產(chǎn)生user或者item的表示。雖說都有一定的效果，但是前者沒有充分捕獲user-item在KG上的結(jié)構(gòu)信息；后者在產(chǎn)生embedding表示的過程中則忽略了user和item相互的影響。本文提出了一種新框架ATBRG，用來有效捕捉目標(biāo)user-item對(duì)在KG上的結(jié)構(gòu)關(guān)系。具體來說，為了在KG上關(guān)聯(lián)給定目標(biāo)item和用戶行為，本文提出了graph connect和graph prune方法來構(gòu)建自適應(yīng)的target-behavior關(guān)系圖。為了充分提取結(jié)構(gòu)信息，本文詳細(xì)介紹了ATBRG的模型結(jié)構(gòu)，主要是relation-aware抽取層和表示激活層。ATBRG成功應(yīng)用到淘寶APP場(chǎng)景并且獲得5.1%的CTR提升。

背景

粗略來說，當(dāng)前基于KG的推薦方法可以分為兩類：基于Path和基于GNN的方法。基于Path的方法通過探索目標(biāo)user-item對(duì)在KG上的多個(gè)meta-path來預(yù)測(cè)用戶偏好。這是一種典型需要domain knowledge的方法，而且忽略了KG中豐富的結(jié)構(gòu)信息，因此不能充分刻畫給定user和item的內(nèi)在關(guān)系。如下圖左所示，這種方法由于針對(duì)各自的path單獨(dú)建模，忽略了Blouse和Dress之間的強(qiáng)聯(lián)系。

與此同時(shí)，基于GNN的方法針對(duì)KG中的高階連接顯示建模。然而有如下的限制：

• 它們主要使用GNN來聚合目標(biāo)user和item各自在KG中的鄰居來豐富學(xué)習(xí)各自的表示，因此不能捕捉他們之間的相互影響。如下圖中所示，當(dāng)前基于GNN的方法聚合KG中鄰居時(shí)由于不考慮用戶興趣，容易在學(xué)習(xí)目標(biāo)item的embedding時(shí)引入無效的信息，例如Cup；

• 在工業(yè)界場(chǎng)景下KG是超大規(guī)模的，也就是說一個(gè)實(shí)體可能會(huì)連接到數(shù)以百萬的item。在獲取鄰居時(shí)使用random sampling有可能丟失異常關(guān)鍵的信息，如下圖中所示的Shirt；

• 它們忽略了用戶行為在KG上的豐富聯(lián)系；

為了解決上述的局限性，更好地提取KG中原始的信息以便更有效地進(jìn)行推薦，必須滿足如下的幾個(gè)關(guān)鍵方面：

• 目標(biāo)item-用戶行為：一個(gè)有效的基于KG的推薦應(yīng)該能夠針對(duì)每一個(gè)user-item對(duì)產(chǎn)生語義上的子圖，捕捉它們的相互作用；

• 自適應(yīng)性：區(qū)別于在整個(gè)KG上進(jìn)行random sampling，與自適應(yīng)創(chuàng)建語義子圖一樣，需要自適應(yīng)地針對(duì)用戶行為與目標(biāo)item在KG上保存有效信息；

• 聯(lián)系性：模型設(shè)計(jì)時(shí)需要考慮在KG上用戶行為和目標(biāo)item之間的聯(lián)系；

本文結(jié)合上述的思想，主要貢獻(xiàn)如下：

• 為了有效刻畫給定目標(biāo)user和item的結(jié)構(gòu)聯(lián)系，本文提出graph connect和graph prune策略來構(gòu)建自適應(yīng)的target-behavior關(guān)系子圖更好地建模用戶行為和目標(biāo)item在KG上的聯(lián)系；

• 本文提出了一個(gè)創(chuàng)新性框架ATBRG，基于提取的關(guān)系子圖來使用GNN學(xué)習(xí)用戶行為和目標(biāo)item的表示；

• 在Yelp和Tabao工業(yè)集數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，同時(shí)成功應(yīng)用到淘寶APP的場(chǎng)景上，驗(yàn)證了ATBRG的明顯提升；

模型框架

ATBRG框架如下圖所示，主要包含兩部分：圖構(gòu)建部分和模型部分。

圖構(gòu)建部分

為了建模給定user-item在KG上的聯(lián)系，之前方法要么是通過random walk，要么是依賴目標(biāo)item在KG上的鄰居來提取不同的path。前者忽略了KG中的結(jié)構(gòu)性信息；后者則是忽略了用戶行為和目標(biāo)item的相互作用，因此無論哪種方式都只是得到了推薦上的局部最優(yōu)效果。
直觀來說，用戶是否點(diǎn)擊目標(biāo)item與用戶的歷史行為有非常強(qiáng)的關(guān)系，本文提出構(gòu)建自適應(yīng)的針對(duì)用戶行為和目標(biāo)item的關(guān)系圖，圖構(gòu)建的具體步驟如下Agorithm 1所示。具體來說，給定一個(gè)目標(biāo)user-item對(duì)<u, i>，

• 首先針對(duì)用戶行為B_ui和目標(biāo)item i在KG上窮舉搜索多層實(shí)體鄰居；

• 然后將連接實(shí)體和item的路徑恢復(fù)成圖G_ui，這樣通過多個(gè)重合的實(shí)體將用戶行為和目標(biāo)item連接起來了；

• 然后針對(duì)G_ui中的實(shí)體，如果沒有連接不同的item的話則進(jìn)行剪枝；

• 最后，便得到了針對(duì)用戶u和目標(biāo)item i的關(guān)系圖G_ui，可以描述<u, i>在KG上的結(jié)構(gòu)聯(lián)系。

模型結(jié)構(gòu)

從KG中得到自適應(yīng)的target-behavior關(guān)系圖后，本文研究了應(yīng)該如何為目標(biāo)user-item對(duì)產(chǎn)生embedding表示。如上圖右所示，ATBRG的模型架構(gòu)主要由如下的四層組成：

• Embedding層，將高維稀疏特征轉(zhuǎn)換為低維稠密表示；

• Relation-aware抽取層，通過聚合在自適應(yīng)關(guān)系圖上的結(jié)構(gòu)關(guān)系信息為用戶行為和目標(biāo)item產(chǎn)生knowledge-aware的Embedding表示；

• 表示激活層，針對(duì)目標(biāo)item激活相對(duì)關(guān)系性的用戶行為表示；

• 特征交互層，結(jié)合更多其他特征；

Relation-aware抽取層是為了有效、全面地提取關(guān)系子圖中的結(jié)構(gòu)聯(lián)系性信息。在電商場(chǎng)景中，用戶可能點(diǎn)擊或者購買同樣的item i，顯然不同的行為象征著用戶對(duì)于item i不同的偏好。基于上述討論以及受[2]啟發(fā)，本文構(gòu)建relation-aware的抽取層來學(xué)習(xí)實(shí)體之間不同的關(guān)系在KG中的豐富的結(jié)構(gòu)性信息。具體來說，對(duì)于每一個(gè)目標(biāo)item（用戶行為中item_b或者目標(biāo)item i），本文將其視為中心節(jié)點(diǎn)，并且使用relation-aware聚合器聚合其在關(guān)系子圖G_ui中的鄰居信息。
表示激活層就是使用attention學(xué)習(xí)用戶歷史行為在目標(biāo)item上的激活權(quán)重。直觀來說，用戶的不同行為對(duì)于最終的預(yù)測(cè)打分會(huì)有不同的貢獻(xiàn)。舉例來說，如果目標(biāo)item是shirt C，那么行為shirt A會(huì)比行為show B更有信息量一些。

實(shí)驗(yàn)結(jié)果

效果對(duì)比

本文在Taobao和Yelp兩個(gè)工業(yè)級(jí)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。在Taobao數(shù)據(jù)集上，除了用戶歷史行為，本文為其構(gòu)建了item knowledge（譬如分類、父類以及風(fēng)格等）。在Yelp數(shù)據(jù)集上，KG則主要是本地商業(yè)信息（譬如位置和分類）。
本文將ATBRG和三種類型的表示學(xué)習(xí)型baseline進(jìn)行了對(duì)比。基于特征的方法，譬如YoutubeNet和DeepFM；基于用戶行為的方法，譬如DIN和DIEN等；基于KG的方法，譬如RippleNet和KGAT等。詳細(xì)實(shí)驗(yàn)結(jié)果對(duì)比數(shù)據(jù)如下表所示，從實(shí)驗(yàn)數(shù)據(jù)我們可以得到如下分析結(jié)論：

• 基于特征的方法在兩個(gè)數(shù)據(jù)集上的表現(xiàn)較差，也就是說手工的特征工程已經(jīng)不足以建模user和item之間的復(fù)雜聯(lián)系；

• 基于用戶行為的方法證實(shí)了引入歷史行為對(duì)于學(xué)習(xí)用戶偏好是非常重要的；

• 總的來說，基于KG的方法效果要好于基于用戶歷史行為的方法，也從側(cè)面證實(shí)了引入KG可以捕捉user和item的內(nèi)在交互。
  

ATBRG超參調(diào)整

本文在這部分進(jìn)行了多種實(shí)驗(yàn)，仔細(xì)調(diào)研了ATBRG的模型架構(gòu)調(diào)整和關(guān)鍵參數(shù)設(shè)定的影響。
首先是分別去除relation-aware機(jī)制和表示激活層的實(shí)驗(yàn)效果對(duì)比，說明KG中的不同關(guān)系應(yīng)該被區(qū)分出來，而且用戶行為在KG中的語義關(guān)系也應(yīng)該同時(shí)被考慮進(jìn)來。
其次是鄰居深度的效果影響。鄰居深度從0提升到2過程中效果更好，但是從2到3過程中效果反而變得更差。一種可能的解釋是KG中太長的聯(lián)系可能包含了一定的噪聲，譬如Shirt - Women Clothing - Clothing - Men Clothing - Shoe。

然后是Aggregator類型的影響。如下圖所示，分別對(duì)比了concat、sum，self-attention以及nonlinear transformation的效果。總的來說，復(fù)雜的aggregator相對(duì)有更好的效果表現(xiàn)。

線上A/B實(shí)驗(yàn)

如下圖是ATBRG應(yīng)用在淘寶APP的系統(tǒng)架構(gòu)圖。相對(duì)于線上DIN的基線，ATBRG相對(duì)提升了6.8%的點(diǎn)擊數(shù)量以及5.1%的CTR提升，同時(shí)在線預(yù)測(cè)時(shí)間增長了8ms。

---

喜歡本文的小伙伴，強(qiáng)烈建議加入賣萌屋的推薦系統(tǒng)垂類討論群，不僅可以認(rèn)識(shí)眾多志同道合的優(yōu)秀小伙伴，而且還有若干賣萌屋美麗小姐姐（劃掉）、頂會(huì)審稿人、大廠研究員、知乎大V等你來撩哦。

如果提示已滿或過期，或希望加入領(lǐng)域大群（自然語言處理、搜索技術(shù)、推薦系統(tǒng)、算法崗求職等）或其他垂類討論群，請(qǐng)?jiān)诤笈_(tái)回復(fù)關(guān)鍵詞【入群】獲取入口哦。

記得掃描下方二維碼關(guān)注并星標(biāo)置頂，我才能來到你面前哦。

參考文獻(xiàn)

[1] ATBRG: Adaptive Target-Behavior Relational Graph Network for Effective Recommendation

[2] Exploiting edge features for graph neural networks

總結(jié)

以上是生活随笔為你收集整理的SIGIR2020 | 淘宝提出结合知识图谱与大规模推荐的新框架ATBRG的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。