推荐系统User-Item Embedding图算法
在做推薦算法任務時,在(user, item)的交互數據集中進行建模是常見的方式,本文基于GNN對User側和Item側進行embedding的思路,介紹3篇相關論文。這三篇文章分別來自SIGIR 2019,2020,2021。
本文主要解決傳統協同過濾算法,因為缺少對user-item交互數據中的協同信息(Collaborative Signal)較好的編碼方式,從而無法很好的學到Embedding的問題。傳統協同過濾方法是通過對ID類特征或者Category類特征進行簡單的編碼得到Embedding,然后通過User-Item交互數據對損失函數的定義后解碼。簡單的編碼形式導致了模型學習到的Embedding信息有限。
具體地,如上圖所示右圖是(User,item)之間的交互路徑。從圖中u2->i2->u1路徑我們可以發現u1和u2具有一定路徑上(行為)的相似性。同時,對于i4->u3->i3->u1和i4->u2->i2->u1這兩路徑可以看出用戶u1對i4的購買可能性大于對i5的購買可能性。
NGCF基于User-Item交互行為中的High-order connectivity來解決交互數據中的協同信息(Collaborative Signal)編碼問題進行Embedding建模。
模型的Embedding Propagation Layer主要包含Message Construction和Message Aggregation兩部分。
在Message Construction部分,對每個(user,item)定義從item到user傳遞的message為:
其中控制在邊上傳播的衰減。在這項工作中,被定義為:和傳統的GCN不同的是,該論文里還加入了,可以傳遞和之間的相關性。而Message Aggregation階段將從用戶 u 的鄰居傳遞過來的信息進行匯聚來提煉用戶u
的嵌入表示。
這里,
,即只編碼本身的信息。上面式子將于該用戶所有相關的item分別和自身做message construction之后求和,在加上自身的特征,最后做一層非線性變換,這樣就可以學習到First-Order的user/item的representation了。在預測層,最終的嵌入表示是原始的embedding和所有嵌入傳播層得到的embedding全部concat在一起的結果,同時最后預測user-item交互的時候使用點乘,并用PairwiseBPR loss進行優化。
相較于上面的NGCF,LightGCN的思想就更簡單了,論文提出一個簡化GCN的模型LightGCN,它認為GCN中常見的特征轉換和非線性激活對于協同過濾來說沒有太大作用,甚至降低了推薦效果,所以LightGCN就只由鄰域聚合構成。通過在User-Item交互數據上線性傳播User-Item的Embedding來學習它們,最后將所有層上學習到的User和Item Embedding加權和計算最后的預測得分。
LightGCN對比NGCF省去了相鄰節點間的內積部分,直接用如下的Normalized求和方法來進行1-hop Aggregation。這里
和分別代表以和為中心臨近節點的數量。從而大幅度簡化了網絡結構,加快了運行速度,同時在此基礎保證了預測的精準度。Self-supervised Graph Learning for Recommendation主要解決User-Item Embedding過程中的兩個問題:
SGL方法主要通過數據增強的方式,對User-Item圖表示使用類似LightGCN的圖卷積網絡提取同一節點的多圖表示,并在此基礎上參考對比學習構造自監督學習任務的思路構造多任務訓練模型。
對比3種不同的數據增強方法,論文中發現Edge dropout方式能更好地發現圖結構中潛在的含義。
模型解決的兩個問題:
(1)長尾問題的推薦效果:
(2)噪聲導致的魯棒性問題的推薦效果:
總結
以上是生活随笔為你收集整理的推荐系统User-Item Embedding图算法的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 隐式反馈的去噪,模型取得巨大提升
- 下一篇: 自动化Debias框架,一键去除推荐系统