推荐算法炼丹笔记：非采样的负样本
最近推薦相關的研究主要集中在探索神經網絡的結構等，然后采用負采樣對模型進行高效的學習。然而，這么做會導致有兩方面的問題沒有被考慮仔細：
- 負采樣會帶來較大的波動；基于采樣的方法很難獲得最優的排序結果；
- 盡管heterogeneous的反饋在許多在線系統中被廣泛使用，(例如view,click,purchase),大多數現有的方案只會使用用戶的一種反饋，例如購買等；
本文提出了一個新的非采樣的遷移學習解決方案，我們稱其為 Efficient Heterogeneous Collaborative Filtering（EHCF）的Top-N推薦。它不僅可以對細粒度的用戶項關系進行建模，而且能夠以較低的時間復雜度從整個異構數據（包括所有未標記數據）中高效地學習模型參數。
在三個實際數據集上的大量實驗表明，EHCF在傳統（單一行為）和異構場景中都顯著優于最先進的推薦方法。此外，EHCF在訓練效率上有顯著提高，使其更適用于實際的大型系統。
在之前的許多工作當中，有兩個重要的問題還沒有非充分考慮，
問題定義
模型一覽
模型整體框架如下：
用戶和商品會先被投影為一個dense向量表示，user-item的對（u,v），我們使用用戶以及他對應的商品交互作為輸入，此外，這邊我們不進行采樣，使用一種高效的優化方法。
對于每一個user-item的實例(u,v)，映射函數可以定義為：
1. Transfer-based Multi-behavior Prediction
不同的行為之間是存在轉化關系的，兩個行為之間的關系可以通過下面的方式來定義：
其中t表示第k個行為之前的行為，初始的行為是隨機初始化的(在推薦里面就是view）。
2. Efficient Optimization without Sampling
此處我們使用加權的regression loss
基于內積乘法操作的decouple的操作，
我們將上式代入得到：
最終對于單個第k個行為的整個數據集的loss就是：
3. Multi-Task Learning
討論
1. 效果比較
- 使用異質反饋的方法通常優于僅利用購買行為的方法，這表明了用戶異質反饋的互補性；
- 使用全數據學習策略的方法通常比基于樣本的方法表現更好；
2. 解耦實驗
- 將View數據和購物車數據添加到我們的模型中都會帶來改進，從而驗證了輔助行為對用戶偏好建模的有效性。
- 我們的方法的顯著改進也表明了應用非抽樣策略從異質反饋中學習的必要性。此外，沒有遷移和沒有MTL的變體的性能都比完整的EHCF模型差，這驗證了所提出的基于遷移的預測層和多任務訓練組件的有效性；
3. 效率分析
- EHCF比NCF和NMTR在單個行為數據以及heterogeneous數據上的效果都好；
4. 解決數據稀疏問題
- 使用其它的信息可以緩解數據標簽稀疏的問題（例如購買等）;
5. 參數的影響
本文提出了一種新的端到端推薦模型EHCF。所提出的EHCF具有兩個關鍵特性：
- 采用新設計的優化方法進行高效的基于全數據的模型學習；
- 通過傳遞方式關聯每個行為的預測，捕捉不同行為之間的復雜關系。
在三個真實數據集上的大量實驗表明，EHCF不僅比現有的推薦模型有很大的提高，而且訓練過程也相當快。這項工作補充了主流的基于樣本的神經網絡推薦模型和隱式反饋，為神經推薦模型的研究開辟了一條新的途徑。所設計的高效的基于整體數據的策略有可能使許多人受益只觀察到正面數據的任務。未來的工作包括在網絡嵌入和多標簽分類等其他相關任務中探索我們的EHCF模型。我們還將嘗試擴展我們的優化方法，使它適用于學習非線性模型。
參考文獻
1、看了很多負采樣的論文，最后我選擇不采樣了。
2、Efficient Heterogeneous Collaborative Filtering without Negative Sampling for Recommendation：http://www.thuir.cn/group/~mzhang/publications/AAAI2020-Chenchong.pdf
3、https://github.com/chenchongthu/EHCF/blob/master/code/EHCF.py
更多干貨，請關注微信公眾號：煉丹筆記總結
以上是生活随笔為你收集整理的推荐算法炼丹笔记：非采样的负样本的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 2020年度「炼丹笔记」搜索推荐系统干货
- 下一篇： 2020数字中国创新大赛-智能算法赛-冠