全標題：Leveraging Long and Short-term Information in Context-aware movie recommendation － 融合 MF 和 RNN 的電影推薦系統

介紹本期的工作之前，先打一個緊急的招生廣告，我們組現還有一個博士名額，想要來中科院深圳先進技術研究院讀博的同學可以聯系我，主要做一些關于自然語言處理、數據挖掘、計算機視覺、機器學習等的工作，報名結束日期是 2018 年 1 月 12 號。

聯系方式和主頁地址如下：

郵箱：min.yang@siat.ac.cn

主頁：www.minyang.me

隨著互聯網技術飛速發展，在線數據越來越龐大，如何幫助用戶從海量數據中找到所需信息是急需解決的問題。

個性化推薦系統能夠有效的解決信息過載問題，推薦系統根據用戶的歷史偏好和約束為用戶提供排序的個性化物品（item）推薦列表，更精準的推薦系統可以提升和改善用戶體驗。所推薦的物品可以包括電影、書籍、餐廳、新聞條目等等。

本文主要針對電影推薦做了深入研究，但所提出的方法可以很方便地遷移到其他物品推薦中。

目前，協同過濾技術已成為最廣泛采用的推薦技術，已經被廣泛應用到了很多商業系統中，比較著名的有 Amazon、Netflix、淘寶等。

傳統的基于協同過濾的推薦系統是認為用戶偏好和電影屬性都是靜態的，但他們實質是隨著用時間的推移而緩慢變化的。例如，一個電影的受歡迎程度可能由外部事件（如獲得奧斯卡獎）所改變。

除了對時間演化進行建模的需求外，協同過濾方法使用了未來的評分來評估當前的喜好，這一定程度違背了統計分析中的因果關系。

另一方面，隨著深度學習應用的爆發式發展，特別是在計算機視覺、自然語言處理和語音方面的進展，基于深度學習的推薦系統越來越引發大家的關注。循環神經網絡（RNN）理論上能夠有效地對用戶偏好和物品屬性的動態性進行建模，基于當前的趨勢，預測未來的行為。

為了有效地利用傳統協同過濾推薦技術（i.e., 矩陣分解）和深度學習方法（i.e., 循環神經網絡）各自的優點，捕獲用戶和電影之間的長期（全局）和短期（局部）關聯，本文主要研究和探索矩陣分解（Matrix Factorization, MF）和循環神經網絡（Recurrent Neural Network, RNN）在推薦系統上的互補性。

該項工作已經發表在 arXiv 上，更多細節可以點擊本文底部的“閱讀原文”查看原論文，我們會在論文發表后放出代碼。

我們提出一種 LSIC 模型（Leveraging Long and Short-term Information in Context-aware movie recommendation），具體框架如下：

LSIC 模型采用了生成對抗網絡（GAN）框架將基于 MF 和 RNN 的模型融合，同時捕獲用戶長期偏好和短期會話信息，從而最大限度地提高推薦系統的最終性能，達到 state-of-the-art 的效果。我們介紹了 4 種方法來融合 MF 模型和 RNN 模型，具體如下：

LSIC-V1: Hard 機制??

采用簡單的求和方法混合 MF 和 RNN 預測的分數，如圖 Figure2(a)，公式如下：

LSIC-V2?

我們通過預訓練 MF 得到用戶和視頻的 latent factors，再初始化用戶 LSTM 和視頻 LSTM 的隱狀態，如圖 Figure2(b)。

LSIC-V3?

我們對 LSIC-V2 進展擴展，采樣 MF 得到的 latent factors 作為兩個 LSTM 的 static context vectors 加到每個時刻 t 的輸入中，如圖 Figure2(c)。

LSIC-V4?

我們采用 attention 機制動態調整 MF 和 RNN 的融合方式，如圖 Figure2(d)，公式如下：

生成對抗網絡：判別器嘗試區別視頻的真假，它是來自訓練集中的高分視頻還是生成器生成出來的偽高分視頻。生成器嘗試去生成真高分視頻來欺騙判別器。具體細節請參考【5】，我們以這篇工作為基礎做了許多改進，比如通過 GAN 有效結合用戶長期偏好的短期會話的模型等。

生成器：（Figure1 的左邊）類似于條件 GAN，我們的生成器 G 輸入用戶偏好數據和時刻 t，給用戶 i 生成推薦列表，具體公式如下：

其中，M 是視頻集合，m_(g, t) 是在 t 時刻生成的視頻 index。

判別器（Figure1 的右邊）我們采用 Siamese 網絡構建判別器 D，并且以 pair-wise 的方法融合長短時模型。具體來說，判別器 D 有兩個對稱的 point-wise 網絡，她們共享參數并且采用 pair-wise 的損失函數來更新。具體的目標函數如下：

U 是用戶集合，u_i 是用戶 i，m_+ 是高分視頻，m__?是隨機從視頻集合中采樣出的低分視頻，最后我們采用 hinge 損失函數來優化判別器 D，具體公式如下：

強化學習：由于視頻采樣的過程是離散的，不能采用標準的 GAN 公式來優化。因此，我們采用 policy gradient 來優化生成器 G，使得 G 能生成高收益的推薦列表來欺騙判別器 D。具體來說，推導如下：

數據集：為了驗證我們模型的有效性，我們在兩個廣泛使用的數據集進行測試 Movielens100K 和 Netflix，為了評估模型的魯棒性，我們分別進行了 3 個月 Netflix 和全集 Netflix 的實驗，數據集細節如下：

對比算法： 在實驗中，我們和一些 baseline 和 state-of-art 進行對比：BPR [1]，PRFM [2]，LambdaFM [3]，RRN [4]，IRGAN [5]。

實驗結果：

此外，我們還進行了 case study 的分析。我們從 Netflix 數據集中隨機選擇兩個用戶并為其生成推薦列表。LSIC 模型可以更有效的進行推薦。例如，用戶“8003”的電影“9 Souls”從排名5（LambdaFM）增加到排名 1（LSIC-V4）。

總結：我們提出了一種新穎的基于生成對抗網絡的推薦系統，采用強化學習動態調整歷史長期偏好和短期會話的模型，此外，我們加入了封面圖片特征進一步提升系統性能，最后在兩個數據集上做到 state-of-art 的性能。

參考文獻

1. Steffen Rendle, Christoph Freudenthaler, Zeno Gantner, and Lars SchmidtThieme. 2009. BPR: Bayesian personalized ranking from implicit feedback. InProceedings of the twenty- fth conference on uncertainty in articial intelligence. AUAI Press, 452–461.

2. Runwei Qiang, Feng Liang, and Jianwu Yang. 2013. Exploiting ranking factorization machines for microblog retrieval. In Proceedings of the 22nd ACM international conference on Conference on information & knowledge management. ACM, 1783–1788.

3. Fajie Yuan, Guibing Guo, Joemon M Jose, Long Chen, Haitao Yu, and Weinan Zhang. 2016. Lambdafm: learning optimal ranking with factorization machines using lambda surrogates. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management. ACM, 227–236.

4. Chao-YuanWu, Amr Ahmed, Alex Beutel, Alexander J Smola, and How Jing. 2017. Recurrent recommender networks. In Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. ACM, 495–503.

5. Jun Wang, Lantao Yu, Weinan Zhang, Yu Gong, Yinghui Xu, Benyou Wang, Peng Zhang, and Dell Zhang. 2017. IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models. In Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. 515–524.

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看論文

總結

以上是生活随笔為你收集整理的融合 MF 和 RNN 的电影推荐系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。