文章來源于淺夢的學習筆記，作者Jiayue Cai

“?本文結合百度和支付寶兩段推薦系統(tǒng)相關的實習經(jīng)歷，針對工業(yè)界的模型發(fā)展做了簡單梳理與回顧,涵蓋表示學習，深度學習，強化學習知識圖譜以及多任務學習”

表示學習和深度學習在推薦系統(tǒng)中的應用是目前工業(yè)界比較成熟的，但是與強化學習、知識圖譜、多任務學習相結合是比較少的， 一方面此類技術與推薦結合才剛剛開始探索，背后有太多問題需要人力去挖掘和探索；另一方面在公司的業(yè)務中敢不敢上這種前沿課題的探索與實驗甚至上線接大流量，部門老大的魄力很關鍵。

表示學習

常用類別特征的表示方法：One-Hot Encoding、Look-Up Embedding、Pre-Train Embedding

框架

美團王永康前輩的分享(https://blog.csdn.net/gamer_gyt/article/details/97985818)

序列 Sequence

圖 Graph

附加信息 Side Information

Side Information框架是解決冷啟動的方法之一。

多模態(tài) Multimodal

更準確來說，這部分屬于模式識別范疇，各大公司在業(yè)務穩(wěn)定后基本都會成立單獨的內(nèi)容理解團隊（在百度實習的時候隔壁就有一個專門的內(nèi)容理解組），以分享到外部的資料舉例，優(yōu)酷團隊在這方面做的很不錯：《優(yōu)酷在多模態(tài)內(nèi)容理解上的研究及應用》(https://www.infoq.cn/article/xgP_eyfidAA2l5ShcCPp)。

模型層面的應用

此部分詳細內(nèi)容參考下節(jié)。

深度學習

企業(yè)級的推薦系統(tǒng)為了盡量提高模型的準確性，往往會使用豐富的甚至異構的內(nèi)容數(shù)據(jù)。這些特征從不同的維度展現(xiàn)了不同的信息，而且特征間的組合通常是非常有意義的。傳統(tǒng)的交叉特征是由工程師手動設計的，這有很大的局限性，成本很高，并且不能拓展到未曾出現(xiàn)過的交叉模式中。因此學者們開始研究用神經(jīng)網(wǎng)絡去自動學習高階的特征交互模式，彌補人工特征工程帶來的種種局限性。

基于深度學習的推薦系統(tǒng)綜述(https://coladrill.github.io/2018/08/08/%E5%9F%BA%E4%BA%8E%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E7%9A%84%E6%8E%A8%E8%8D%90%E7%B3%BB%E7%BB%9F%E7%BB%BC%E8%BF%B0/)
淺夢的Github鏈接(https://github.com/shenweichen/DeepCTR)
最新論文導讀(https://zhuanlan.zhihu.com/weichennote)

來源：https://zhuanlan.zhihu.com/p/69050253

2015-2016

• Convolutional Click Prediction Model [CIKM 2015] A Convolutional Click Prediction Model

• Factorization-supported Neural Network [ECIR 2016] Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction

• Product-based Neural Network [ICDM 2016] Product-based neural networks for user response prediction

• Wide & Deep [DLRS 2016]Wide & Deep Learning for Recommender Systems

2017-2018

• DeepFM [IJCAI 2017]DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

• Piece-wise Linear Model [arxiv 2017]Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction

• Deep & Cross Network [ADKDD 2017]Deep & Cross Network for Ad Click Predictions

• Attentional Factorization Machine [IJCAI 2017]Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Networks

• Neural Factorization Machine [SIGIR 2017]Neural Factorization Machines for Sparse Predictive Analytics

• xDeepFM [KDD 2018]xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems

2018-2019

• AutoInt [arxiv 2018]AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks

• Deep Interest Network [KDD 2018]Deep Interest Network for Click-Through Rate Prediction

• Deep Interest Evolution Network [AAAI 2019]Deep Interest Evolution Network for Click-Through Rate Prediction

• NFFM [arxiv 2019]Operation-aware Neural Networks for User Response Prediction

• FGCNN [WWW 2019]Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction

• Deep Session Interest Network [IJCAI 2019]Deep Session Interest Network for Click-Through Rate Prediction

• FiBiNET [RecSys 2019]FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction

自動特征工程方面我即將出一篇論文，期待下~

強化學習

用戶與推薦系統(tǒng)之間往往會發(fā)生持續(xù)密切的交互行為，強化學習中的Reward機制十分適合應用到這種模式，所以基于強化學習的推薦方法中，往往會把推薦系統(tǒng)看做智能體（Agent）、把用戶看做環(huán)境（Environment），商品的推薦問題可以看做經(jīng)典的順序決策問題。Agent每一次排序策略的選擇可以看做一次試錯（Trial and Error），把用戶的反饋、點擊成交等作為從環(huán)境中獲得的獎賞。
在支付寶實習的時候，優(yōu)化CTR模型之余，針對商家線下運營策略推薦場景，主導實現(xiàn)了off-policy的強化學習模型（下圖僅作拋磚引玉，模型細節(jié)不能公布哈）。

論文整理

• [ICDM 2018] Self-attentive sequential recommendation

• [arXiv 2018] Reinforcement Learning for Online Information Seeking

• [WWW 2018] DRN:A Deep Reinforcement Learning Framework for News Recommendation

• [SIGIR 2019] Lifelong Sequential Modeling with Personalized Memorization for User Response Prediction

• [ICML 2019] Generative Adversarial User Model for Reinforcement Learning Based Recommendation System

• [AAAI 2019] Large-scale Interactive Recommendation with Tree-structured Policy Gradient

• [arXiv 2019] Reinforcement Learning to Optimize Long-term User Engagement in Recommender Systems

• [WSDM 2019]Top-K Off-Policy Correction for a REINFORCE Recommender System

• [arXiv 2019]Reinforcement Learning for Slate-based Recommender Systems: A Tractable Decomposition and Practical Methodology

機遇與挑戰(zhàn)

離線評估與在線效果之間的巨大鴻溝

• 離線模擬過程的泛化性問題，特別是用戶端連續(xù)決策行為的建模方面。

• 現(xiàn)有方法其實還是有很多問題，例如沒有刻畫用戶反饋行為的連續(xù)性與前后相關性、沒有考慮用戶反饋背后的多因素影響等等。

動作空間偏大

• 在真實的推薦系統(tǒng)中面臨巨大無比的離散化行為空間（待推薦item集合巨大無比）。

• 這個問題在這篇文章中已經(jīng)作出了一些探索，但還沒有完全解決這類問題。

在線效果容易受到其它策略的影響

• 例如推薦端在使用RL算法，用戶還在看到很多其它推薦、展示策略在其它位置、時段、平臺推給他的結果，較難精確建模用戶反饋與行為歸因。

如何去做更好地探索

• 因為真實場景中沒有游戲環(huán)境那樣豐富的樣本數(shù)據(jù)，每一次探索都有巨大的顯性成本或隱性成本。

• 更快地探索、更好地采用效率是RL4Rec實際應用中的難題。

知識圖譜

Personalized Recommendation Systems: Five Hot Research Topics You Must Know(https://www.microsoft.com/en-us/research/lab/microsoft-research-asia/articles/personalized-recommendation-systems/)

在多數(shù)推薦場景中，物品可能包含豐富的知識信息，而刻畫這些知識的網(wǎng)絡結構即被稱為知識圖譜。物品端的知識圖譜極大地擴展了物品的信息，強化了物品之間的聯(lián)系，為推薦提供了豐富的參考價值，更能為推薦結果帶來額外的 多樣性 和 可解釋性。

和社交網(wǎng)絡相比，知識圖譜是一種異構網(wǎng)絡，因此針對知識圖譜的推薦算法設計要更復雜和精巧。近年來，網(wǎng)絡特征學習 (network representation learning) 逐漸成為機器學習中的一個熱門的研究方向。 引入網(wǎng)絡特征學習的方法處理推薦系統(tǒng)中知識圖譜的相關信息，有助于增強推薦系統(tǒng)的學習能力，提高精確度和用戶滿意度。

將知識圖譜引入推薦系統(tǒng)，主要有以下兩種不同的處理方式：

• 基于特征的輔助推薦模型，核心是知識圖譜特征學習的引入。即首先使用知識圖譜特征學習對其進行處理，從而得到實體和關系的低維稠密向量表示。這些低維的向量表示可以較為自然地與推薦系統(tǒng)進行結合和交互。

• 基于結構的全局推薦模型，更加直接地使用知識圖譜的結構特征。具體來說，對于知識圖譜中的每一個實體，我們都進行BFS來獲取其在知識圖譜中的多跳關聯(lián)實體從中得到推薦結果。

2018-2019

• [KDD 2018]Leveraging Meta-path based Context for Top-N Recommendation with A Neural Co-Attention Model

• [WWW 2019]Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation

• [WWW 2019]Knowledge Graph Convolutional Networks for Recommender Systems

• [KDD 2019]KGAT: Knowledge Graph Attention Network for Recommendation

• [KDD 2019]Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Recommender Systems

• [DLP-KDD 2019]An End-to-End Neighborhood-based Interaction Model for Knowledge-enhanced Recommendation

• [AAAI 2019]Explainable Reasoning over Knowledge Graphs for Recommendation

• [SIGIR 2019]Reinforcement Knowledge Graph Reasoning for Explainable Recommendation

機遇與挑戰(zhàn)

現(xiàn)有模型都屬于統(tǒng)計學習模型，即挖掘網(wǎng)絡中的統(tǒng)計學信息并以此進行推斷

• 一個困難但更有研究前景的方向是在網(wǎng)絡中進行推理，將圖推理與推薦系統(tǒng)相結合。

如何設計出性能優(yōu)秀且運行效率高的算法，也是潛在的研究方向

• 現(xiàn)有模型并不涉及計算引擎層面、系統(tǒng)層面甚至硬件層面的考量，如何將上層算法和底層架構進行聯(lián)合設計和優(yōu)化，是實際應用中一個亟待研究的問題。

現(xiàn)有的模型網(wǎng)絡結構都是靜態(tài)的，在真實場景中，知識圖譜具有一定的時效

• 如何刻畫這種時間演變的網(wǎng)絡，并在推薦時充分考慮時序信息，也值得我們未來研究。

在工業(yè)界中，一方面構建一張圖需要花費巨大的人力；另一方面圖采樣等相關技術還不成熟（暴力地使用GCN、KGAT并不現(xiàn)實）。據(jù)目前我所了解到的，在知識圖譜工業(yè)級應用方面，谷歌和百度是比較前沿的（重視程度源于索引量大且對query質(zhì)量要求高時的場景需求）。

多任務學習

此部分我了解的比較少，待跟進學習。

• [RecSys 2019]Recommending what video to watch next: A multitask ranking system

未完待續(xù)….

備注：公眾號菜單包含了整理了一本AI小抄，非常適合在通勤路上用學習。

往期精彩回顧那些年做的學術公益-你不是一個人在戰(zhàn)斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（第一部分）備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”

喜歡文章，點個在看

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的推荐系统的发展与简单回顾的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。