|?作者：朱勇椿?

| 單位：中國(guó)科學(xué)院大學(xué)?

| 研究方向：跨域推薦、多任務(wù)學(xué)習(xí)

在真實(shí)場(chǎng)景的推薦系統(tǒng)中，通常會(huì)使用所有數(shù)據(jù)來(lái)訓(xùn)練推薦模型，學(xué)到的user embedding可以表示用戶的興趣偏好。但是這樣的用戶表示可能會(huì)遺漏用戶的序列行為信息，而序列推薦則旨在顯式地建模用戶的序列行為，提升推薦系統(tǒng)的效果。本期為大家分享一些序列推薦算法。

文本將序列推薦分為以下幾個(gè)方面：

• 標(biāo)準(zhǔn)序列推薦

• 長(zhǎng)短期序列推薦

• 多興趣表示的序列推薦

• 多行為序列推薦

• 其他序列推薦

一、標(biāo)準(zhǔn)序列推薦

標(biāo)準(zhǔn)序列推薦指通過(guò)單行為序列挖掘用戶表示的推薦算法。標(biāo)準(zhǔn)序列推薦算法也非常直接，一些常見(jiàn)的序列建模的方法，比如Pooling, RNN, CNN, Memory Network,?Attention, Transformer等等。

1.1 Pooling

將用戶交互過(guò)的item的embedding，取個(gè)均值，作為序列特征加入推薦模型，比如google的推薦模型[1]。這種方法簡(jiǎn)單有效，也是業(yè)界最常見(jiàn)的使用序列特征的手段。

1.2 RNN-based

RNN是一種進(jìn)行序列建模的非常使用的方法，廣泛用于各種序列建模，比如文本、語(yǔ)音等等。GRU4Rec[2]將RNN引入了session-based推薦系統(tǒng)，將一個(gè)session內(nèi)的交互作為序列歷史，進(jìn)行序列建模。

1.3 CNN-based

TextCNN將CNN引入了序列建模，Caser[3]將CNN引入了序列推薦。Caser中指出現(xiàn)在的Markov chain models只能建模point-level sequential patterns，不能建模union-level patterns，而CNN可以很好的解決這個(gè)問(wèn)題。

1.4 Attention-based

上述方法沒(méi)有考慮用戶序列行為中哪些交互是比較重要的，注意力機(jī)制(attention)是一個(gè)很好的解決方法。SASRec[4]提出了一種基于自注意力的序列推薦方法。

阿里提出了一種深度注意力網(wǎng)絡(luò)DIN用到推薦廣告[5]，在業(yè)界有著廣泛的應(yīng)用。

1.5 Memory-based

上述的方法只對(duì)序列交互進(jìn)行了建模，而沒(méi)有存儲(chǔ)下來(lái)，當(dāng)序列很長(zhǎng)時(shí)可能會(huì)遺忘一些過(guò)去的交互，RUM[6]引入了用戶記憶模塊，來(lái)存儲(chǔ)序列交互的信息。

1.6 Transformer-based

Transformer在NLP任務(wù)上取得了顯著的提升，基于Transformer提出了Bert等大型預(yù)訓(xùn)練模型。Bert4Rec[7]將這類結(jié)構(gòu)思路引入了推薦系統(tǒng)。

二、長(zhǎng)短期序列推薦

用戶可能擁有大量交互歷史，長(zhǎng)期交互和短期交互對(duì)用戶當(dāng)前興趣可能有著不同的影響，因此有必要區(qū)分用戶的長(zhǎng)短期行為。SHAN將用戶行為分為長(zhǎng)期的和短期的，使用層次注意力網(wǎng)絡(luò)進(jìn)行建模。

三、多興趣表示的序列推薦

上述的方法通常是將用戶行為編碼為一個(gè)表示，但是用戶的興趣偏好通常是多個(gè)方面的，因此有方法將用戶的序列行為編碼為多個(gè)興趣表示向量[9]。

四、多行為序列推薦

用戶通常有多種不同的行為序列，比如點(diǎn)擊、分享、購(gòu)買等等。因此對(duì)多行為序列建模來(lái)抓獲用戶興趣偏好也是非常有必要的[10]。

五、其他序列推薦

現(xiàn)在還有一些其他的序列推薦方法，比如用對(duì)比學(xué)習(xí)來(lái)做序列推薦任務(wù)[11]。

另外還有一些和序列推薦很接近的任務(wù)，比如next basket[12]。

六、總結(jié)

顯式地建模用戶的歷史交互行為對(duì)提升推薦的效果有很大的作用，因此需要使用一種高效的模塊進(jìn)行序列建模，此外還應(yīng)該考慮長(zhǎng)短期序列、多行為序列、多興趣表示等多個(gè)角度的序列建模。當(dāng)然在某些場(chǎng)景序列特征可能作用不大，可以先用pooling簡(jiǎn)單試試序列特征的效果。

七、參考文獻(xiàn)

[1] Deep Neural Networks for YouTube Recommendations. Recsys2016.

[2] Session-based Recommendations with Recurrent Neural Networks. ICLR2016.

[3] Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding. WSDM2018.

[4] Self-Attentive Sequential Recommendation. ICDM2018.

[5] Deep Interest Network for Click-Through Rate Prediction. KDD2018.

[6] Sequential Recommendation with User Memory Networks. WSDM2018.

[7] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer. CIKM2019.

[8] Sequential Recommender System based on Hierarchical Attention Networks. IJCAI2018.

[9] Controllable Multi-Interest Framework for Recommendation. KDD2020.

[10] Incorporating User Micro-behaviors and Item Knowledge into Multi-task Learning for Session-based Recommendation. SIGIR2021.

[11] Disentangled Self-Supervision in Sequential Recommenders. KDD2020.

[12] Factorizing Personalized Markov Chains for Next-Basket Recommendation. WWW2010.

更多論文，歡迎訪問(wèn)https://github.com/hongleizhang/RSPapers

往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯黃海廣老師《機(jī)器學(xué)習(xí)課程》課件合集 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的【推荐系统】一文梳理序列化推荐算法模型进展的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。