AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations

Xiangyu Zhao, Chong Wang,?Ming Chen, Xudong Zheng, Xiaobing Liu, Jiliang Tang

Michigan State University, Bytedance

https://arxiv.org/pdf/2002.11252.pdf

基于深度學習的推薦系統(tǒng)通常包含嵌入層，嵌入層能夠減少類別變量（比如用戶或商品特征）的維度，并且轉(zhuǎn)換到低維空間中。

大多數(shù)現(xiàn)有的深度學習推薦系統(tǒng)，對于用戶商品的嵌入層，根據(jù)經(jīng)驗預先定義定長和統(tǒng)一的維度。最近研究表明，不同的用戶商品根據(jù)流行度需要映射到不同大小的嵌入空間中。但是，推薦系統(tǒng)中手動選擇嵌入層的大小非常具有挑戰(zhàn)性，因為用戶商品的量級很大，并且流行度也會隨時間動態(tài)變化。

這篇文章提出一種基于AutoML的端到端的框架，AutoEmb，可以根據(jù)流行度自動并且動態(tài)的設(shè)定多種嵌入空間。具體而言，作者們將典型的深度學習推薦系統(tǒng)進行增強，嵌入空間可以多種多樣，提出一種端到端的可微框架，可以根據(jù)用戶商品的流行度自動選擇不同的嵌入空間，并且在流式推薦場景中提出一種基于AutoML的優(yōu)化算法。

在大量基準數(shù)據(jù)集上的實驗結(jié)果表明了AutoEmb框架的有效性。

基于深度學習的推薦系統(tǒng)主要包含以下三個部分

不同的embedding大小對應的效果不同

基礎(chǔ)的基于深度學習的推薦系統(tǒng)結(jié)構(gòu)圖示如下

嵌入變換及選擇圖示如下

這種方案主要解決兩個問題，其一是不同embedding大小不同，如何統(tǒng)一為同一大小的embedding，其二為不同embedding尺度上不可比，如何轉(zhuǎn)為統(tǒng)一尺度。

自動選擇embedding大小的組件結(jié)構(gòu)圖示如下

模型整體結(jié)構(gòu)圖示如下

下面是算法偽代碼

數(shù)據(jù)集信息統(tǒng)計如下

實現(xiàn)細節(jié)及參數(shù)設(shè)置如下

評價指標如下

參與對比的方法有以下幾個

幾種方法效果對比如下

不同流行度對模型效果影響如下

不同的流行度下，不同embedding大小的權(quán)重分布不同

樣本數(shù)對模型效果影響如下

總結(jié)

以上是生活随笔為你收集整理的密歇根州立大学联合字节提出AutoEmb用于流式推荐的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。