社交注意記憶網(wǎng)絡(luò)：模擬面級(jí)別和朋友級(jí)別的區(qū)別

原文鏈接：Social Attentional Memory Network: Modeling Aspect- and Friend-Level Differences in Recommendation, WSDM’19

1. 摘要

社會(huì)中的連接有助于提升推薦系統(tǒng)的性能，但是，現(xiàn)有的模型中沒(méi)有能夠很好地研究推斷用戶偏好的兩個(gè)問(wèn)題：第一，用戶的偏好可能只是在某方面和他朋友的偏好部分匹配，尤其是當(dāng)考慮到一個(gè)用戶有不同的興趣時(shí)。第二，對(duì)于一個(gè)個(gè)體來(lái)說(shuō)，他朋友對(duì)他的影響程度可能是不同的，在模擬他的偏好時(shí)，并不是所有的朋友都有同等的幫助。
為了解決上述問(wèn)題，我們提出了新型的社交注意記憶網(wǎng)絡(luò)（SAMN），特別地，設(shè)計(jì)了一個(gè)基于注意力的記憶模塊去學(xué)習(xí) user-friend 向量，可以捕獲用戶和他朋友共享的不同方面的注意力。設(shè)計(jì)了一個(gè)朋友級(jí)別的注意力組件，自適應(yīng)地選擇信息豐富的朋友進(jìn)行用戶建模。這兩個(gè)組件被融合在一起，互相增強(qiáng)，從而得到一個(gè)更好的擴(kuò)展模型。

舉例：
userA 和 userB 的信任關(guān)系建立在 movie 上，userA 和 userC 的信任關(guān)系建立在 basketball 上。

2. 模型架構(gòu)

目標(biāo)：基于隱式反饋和社交網(wǎng)絡(luò)進(jìn)行推薦。
考慮了 aspect-level 和 friend-level 兩種情況，來(lái)提高模型的表現(xiàn)性能和泛化能力。

在嵌入層（Embedding Layer）用戶和項(xiàng)被轉(zhuǎn)化成密集向量表示（dense vector representation）

基于注意力的記憶模塊（attention-based memory module）用來(lái)解決面級(jí)別的差別（
aspect-level differences）造成的問(wèn)題，朋友向量 f_(i,l) 在一個(gè)增強(qiáng)的記憶矩陣 M 上使用神經(jīng)注意力機(jī)制生成，依賴于用戶和朋友，并學(xué)習(xí)表示用戶和朋友之間的偏好關(guān)系。

朋友級(jí)別的注意力組件（friend-level attention component）用于選擇信息豐富朋友來(lái)更好的推斷用戶的偏好。

模型通過(guò) pairwise ranking 和 negative sampling strategy 進(jìn)行優(yōu)化。

2.1 Attention-based Memory Module

用戶和朋友可能只在某個(gè)方面由相同的偏好，尤其是考慮到用戶有不同興趣的時(shí)候。然而用戶-朋友對(duì)的顯示關(guān)系在隱式數(shù)據(jù)中是不可用的（我們不知道他們分享的興趣是什么方面的）。受到近來(lái)記憶網(wǎng)絡(luò)和注意力機(jī)制發(fā)展的啟發(fā)，我們?cè)O(shè)計(jì)了基于注意力的記憶模塊來(lái)學(xué)習(xí)用戶和朋友之間的關(guān)系向量。

2.1.1 Joint Embedding

給定 user-friend 對(duì) ( u_i , u_(i,l) )，模型先用下面的操作去學(xué)習(xí)用戶和他朋友的聯(lián)合嵌入向量 s ∈ R^d，其中分母用來(lái)標(biāo)準(zhǔn)化并且使得產(chǎn)生的向量具有相同的規(guī)模。這個(gè)操作也可以換成別的，比如 MLP 或者 element-wise product without normalization。

2.1.2 Key Addressing

注意向量 α ∈ R^N 的每個(gè)元素 α_j （表示用戶朋友對(duì)用戶在第 j 方面的影響程度）通過(guò)下面的方式計(jì)算，其中 K_i ∈ R^d 從 key matrix K ∈ R^N×d 得到。

2.1.3 Generating Friend Vector

朋友向量 u_(i,l) 先通過(guò)記憶矩陣（memory matrix）M ∈ R^N×d 擴(kuò)展一個(gè)矩陣 F ∈ R^N×d，F 可以理解為用戶在不同潛在面（latent aspect）的偏好，N 可以看作是潛在面的數(shù)量。

最后，為了生成朋友向量，使用注意分?jǐn)?shù)來(lái)計(jì)算 F 的加權(quán)表示。輸出的特定關(guān)系向量 f_(i,l) 可以看作用戶的第 l 個(gè)朋友對(duì)用戶 i 偏好的影響向量。

2.2 Friend-level Attention

朋友級(jí)注意的目標(biāo)是給用戶的朋友分配非均勻的權(quán)重，當(dāng)用戶與不同的項(xiàng)目交互時(shí)，權(quán)重會(huì)發(fā)生變化。
我們使用兩層網(wǎng)絡(luò)計(jì)算用戶 u_i ，當(dāng)前項(xiàng) v_j 和朋友 f_(i,l) 的注意力分?jǐn)?shù) β(i,l)：

其中，S_i 表示用戶 i 在社交網(wǎng)絡(luò)中的所有朋友，W₁ ∈ R^d×k , W₂ ∈ R^d×k , W₃ ∈ R^d×k，b ∈ R^k , h ∈ R^k 是模型參數(shù)。
最后通過(guò)求和便可以得到用戶 i 的表示：

3. 模型學(xué)習(xí)

3.1 Prediction

采用了經(jīng)典的矩陣分解（MF）方法來(lái)預(yù)測(cè)用戶 I 對(duì) 項(xiàng) j 的評(píng)分：

根據(jù)預(yù)測(cè)評(píng)分對(duì) items 進(jìn)行排名，取 Top-K 進(jìn)行推薦。

3.2 Optimization

The pairwise ranking loss：

總結(jié)

以上是生活随笔為你收集整理的论文笔记（Social Attentional Memory Network：Modeling Aspect- and Friend-level Differences in Recom-)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。