SASRec

Self-Attentive Sequential Recommendation
2018年的經典文章

摘要

時序動態是許多現代推薦系統的一個關鍵特征，它們試圖根據用戶最近執行的操作來捕捉用戶活動的“背景”。為了捕捉這種模式，出現了兩種方法：馬爾可夫鏈(MC)和遞歸神經網絡(RNN)。馬爾科夫鏈假設用戶的下一個動作可以根據他們的最后(或最后幾個)動作來預測，而RNN原則上允許發現更長期的語義。一般而言，基于MC的方法在模型簡約性至關重要的極稀疏數據集中執行得最好，而RNN在較密集的數據集中執行得更好，因為較高的模型復雜性是負擔得起的。我們工作的目標是通過提出一個基于自我注意的順序模型(SASRec)來平衡這兩個目標，該模型允許我們捕獲長期語義(如RNN)，但使用注意力機制，基于相對較少的動作(如MC)進行預測。在每一個時間步，SASRec都會試圖從用戶的操作歷史中找出哪些項目是“相關的”，并用它們來預測下一個項目。大量的實證研究表明，我們的方法在稀疏和密集數據集上的性能都優于各種最先進的序列模型(包括基于MC/CNN/RNN的方法)。此外，該模型的效率比基于CNN/RNN的同類模型高一個數量級。注意力權重的可視化還顯示了我們的模型如何自適應地處理不同密度的數據集，并揭示活動序列中的有意義的模式。

相關工作

普通推薦系統

臨時推薦

序列推薦

注意力機制

方法

1. 符號系統

$\mathbf{M}:$ 項目embedding矩陣;
$\mathbf{E}:$ 輸入矩陣，每個用戶不同，是項目embedding的順序堆疊

2. 位置信息

在輸入矩陣的每一行加入對應的位置向量$\mathbf{P}$, 這里的$\mathbf{P}$是可學習的。

3. 自注意力層

常規，用了3個投影矩陣，在這里，有個額外的因果關系，由于是序列模型，所以模型在預測第t+1項時，應該只考慮前面的t項。然而，自注意力機制的第t個輸出包含了后續項目的embedding, 會使得模型不穩定，于是作者修改了注意力，禁止了${\mathbf{Q}}_i$和${\mathbf{K}}_j$之間的聯系。（怎么實現的這里沒說）

接下來是常規的FFN環節賦予模型非線性，這里用的是RELU激活函數。

4. 注意力模塊堆疊

就是把FFN的輸出作為attention的輸入，再進行一輪attention+FNN的組合，當然，這里會出現三個問題：

過擬合

訓練過程不穩定，如梯度消失的問題

參數太多，訓練耗時
所以進行如下操作：

每層添加dropout，然后再把輸入加進去。

5. 預測

前面FNN的輸出就是$\mathbf{F}$, 再乘上項目embedding矩陣的轉置，就是對應項目$i$的預測得分。

額外操作

為了減少參數，并且防止過擬合，作者采用共享的項目embedding矩陣

6. 訓練

$o_t$被定義為$t$時刻預期的輸出。大S和小s的區別在于：大S是真實序列，不包含填充。

比如定義序列最大長度為5，$i$是項目，那么：$S^u=\{i_1,i_2,i_3\}$，$s=\{i_0,i_0,i_1,i_2,i_3\}$,$i_0$就是填充項

$o_t$就是說：如果上一個項目是填充項，那么輸出就是填充項，當前時刻$t$不是序列末尾時，就輸出原有序列的下一個，到最后$t$時刻，即序列末尾時，輸出的才是預測項目。

7. 損失函數

當$o_t$是填充項時，忽略。損失函數是二元交叉熵?？梢钥闯鰮p失函數的目的是，讓序列內的項目的相關性盡可能大。

總結

和AttRec在注意力機制上的使用的區別在，AttRec少用一個投影矩陣，使得V不同而已。

對數據集的使用僅僅是序列信息，嘗試在模型中融入項目特征，現在的難點在于除了電影數據集以外，序列模型各baseline最常用的數據集有：Movielens-1M，Amazon數據集的beauty，sports，toys.
但是Amazon的數據集的項目特征只有一個“category”，而且數據集需要預處理，數據集也有點大。

總結

以上是生活随笔為你收集整理的SASRec: Self-Attentive Sequential Recommendation阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。