原文：
https://dl.acm.org/doi/10.1145/3477495.3531889

摘要

? 現(xiàn)已存在的基于GNN協(xié)同過濾模型面臨著一些用戶-項(xiàng)目噪音數(shù)據(jù)，這個嚴(yán)重影響系統(tǒng)的有效性和魯棒性。而對去噪的研究當(dāng)中，他們要么是忽視GNN信息傳播過程中噪音的直接影響，或者就是在去噪時直接拋棄推薦的多樣性。
? 為了解決這個問題，作者提出了一種全新的基于GNN的協(xié)同過濾模型，Robust Graph Collaborative Filtering(RGCF),該模型將推薦過程中不可靠的交互去噪。具體來說，RGCF由一個圖去噪模塊graph denoising module和一個多樣性保留模塊diversity preserving module構(gòu)成。圖去噪模塊通過同時采用硬去噪策略（丟棄那些確定為噪音的交互）和軟去噪策略（為每一個留下來的交互分配一個可靠權(quán)重），減少GNN表示學(xué)習(xí)中噪音交互的影響。在保留多樣性模塊中，作者建立了一個diversity augmented graph（多樣性擴(kuò)充圖）并且基于mutual information maximization(MIM，互信息最大化)提出一個auxiliary self-supervised task，這樣是為了加強(qiáng)去噪后的表示以及保留推薦的多樣性。這兩個模塊將通過多任務(wù)學(xué)習(xí)的角度來整合。

總述

? RGCF由圖去噪模塊和多樣性保留模塊組成。圖去噪模塊目的是為了將交互數(shù)據(jù)中的噪音部分清除。首先計(jì)算用戶-項(xiàng)目交互的可靠程度，隨后基于可靠程度采取去噪硬策略和去噪軟策略。多樣性保留模塊中，首先建立一個多樣性擴(kuò)充的交互圖，隨后基于互信息最大化MIM提出一個輔助性自監(jiān)督任務(wù)，提高根據(jù)圖去噪模塊的表示學(xué)習(xí)能力，最終保留推薦時的多樣性。作者通過在RGCF中采用多任務(wù)學(xué)習(xí)策略，整合上述兩個模塊。
$$\begin{gathered} \mathcal{U}=\{u\},\mathcal{I}=\{i\}分別表示可觀察到的用戶集合與項(xiàng)目集合 \\ 交互數(shù)據(jù)標(biāo)記為矩陣R\in {\mathbb{R}}^{|\mathcal{U}|\times |\mathcal{I}|},元素為1表示交互過，0表示沒有交互過 \\ 基于用戶?項(xiàng)目交互數(shù)據(jù)，通過表示函數(shù)g(?)，可以學(xué)習(xí)到用戶和項(xiàng)目的嵌入表示h: \end{gathered}$$

$$\begin{gathered} h_u=g(R,u),h_i=g(R,i) \\ \text{\hspace{1em}(1)} \end{gathered}$$

$$h_u\in {\mathbb{R}}^d,h_i\in {\mathbb{R}}^d分別是用戶u和項(xiàng)目i的嵌入表示$$

圖去噪模塊

交互關(guān)系的可靠程度

作者是通過用戶和項(xiàng)目在交互圖中的結(jié)構(gòu)相似度來判斷他們之間關(guān)系的可靠程度的（根據(jù)homophily theory同構(gòu)定理），而并非通過注意力機(jī)制來計(jì)算。

我們首先通過用戶與項(xiàng)目的交互數(shù)據(jù)$R\in {\mathbb{R}}^{|\mathcal{U}|\times |\mathcal{I}|}$，構(gòu)造它們的交互二部圖$\mathcal{G}$。然后抽取出它們的one-hop鄰域節(jié)點(diǎn)作為它們的結(jié)構(gòu)上的特征，通過這個來表示它們節(jié)點(diǎn)的局部拓?fù)湫畔ⅰ＞o接著使用==嵌入轉(zhuǎn)換矩陣$E_U\in {\mathbb{R}}^{|\mathcal{U}|\times d}$和$E_I\in {\mathbb{R}}^{|\mathcal{I}|\times d}$，在GNN訓(xùn)練過程中學(xué)習(xí)。==將用戶和項(xiàng)目的結(jié)構(gòu)特征轉(zhuǎn)換到相同維度的隱藏空間：
$${\mathbf{H}}_{\mathbf{U}}^{\mathbf{s}}=\mathbf{R}{\mathbf{E}}_{\mathbf{I}},{\mathbf{H}}_{\mathbf{I}}^{\mathbf{s}}={\mathbf{R}}^{\mathbf{T}}{\mathbf{E}}_{\mathbf{U}}\text{\hspace{1em}(2)}$$
這里，$H_U^s\in {\mathbb{R}}^{|\mathcal{U}|\times d},H_I^s\in {\mathbb{R}}^{|\mathcal{I}|\times d}$是隱藏空間中用戶與項(xiàng)目的結(jié)構(gòu)特征矩陣。$h_u^s,h_i^s$分別是$H_U^s,H_I^s$兩個矩陣的第$i$行。隨后采用余弦相似度來計(jì)算它們交互關(guān)系的相似度：
$$cos({\mathbf{h}}_{\mathbf{u}}^{\mathbf{s}},{\mathbf{h}}_{\mathbf{i}}^{\mathbf{s}})=\frac{{{\mathbf{h}}_{\mathbf{u}}^{\mathbf{s}}}^T{\mathbf{h}}_{\mathbf{i}}^{\mathbf{s}}}{||h_u|{|}_2?||h_i|{|}_2}\text{\hspace{1em}(3)}$$
但是計(jì)算出來的并不能直接用來作為圖中的可靠程度，還需要正則化，否則可能會有負(fù)值。
$$s_{u,i}=(cos({\mathbf{h}}_{\mathbf{u}}^{\mathbf{s}},{\mathbf{h}}_{\mathbf{i}}^{\mathbf{s}})+1)/2\text{\hspace{1em}(4)}$$

去噪交互圖

現(xiàn)在要通過同時采用去噪硬策略和去噪軟策略，我們把交互圖$\mathcal{G}$變成去噪后交互圖$\tilde{\mathcal{G}}$。圖中的實(shí)體對$<u,i>$的交互關(guān)系，它的可靠程度已通過公式（4）計(jì)算出，這個也就是去噪權(quán)重。

那么具體的去噪硬策略，就是把那些確定為噪音的交互關(guān)系在GNN信息傳播過程中移除。如何來確定噪音，也就是判斷該交互關(guān)系的可靠程度是否大于一個超參數(shù)$\beta$。接下來的公式，就是結(jié)合了去噪硬策略與去噪軟策略，重新構(gòu)造交互關(guān)系$\tilde{R}$，同時這個交互關(guān)系也對應(yīng)著去噪后交互圖$\overline{\mathcal{G}}$：
$${\tilde{r}}_{u,i}=\mathbb{I}(s_{u,i}>\beta )?s_{u,i}\text{\hspace{1em}(5)}$$
這里$\mathbb{I}(?)$是一個二值方程，當(dāng)符合括號內(nèi)條件時，值為1；否則為0。這種方式既滿足了去噪硬策略，又滿足了去噪軟策略。

CF圖神經(jīng)網(wǎng)絡(luò)

現(xiàn)在利用GNN網(wǎng)絡(luò)，通過信息傳遞來學(xué)習(xí)用戶與項(xiàng)目的嵌入表示，大致如下：
$${\tilde{H}}_U,{\tilde{H}}_I=GNN(H_U^{(0)},H_I^{(0)},\tilde{\mathcal{G}})\text{\hspace{1em}(6)}$$
這里${\tilde{H}}_U,{\tilde{H}}_I$分別是用戶、項(xiàng)目的嵌入表示，而$H_U^{(0)},H_I^{(0)}$是公式（2）中給的矩陣，作為用戶、項(xiàng)目嵌入表示初始化的矩陣。而這GNN具體采用的哪個模型，作者采用的是LightGCN模型。那么通過聚合領(lǐng)域信息學(xué)習(xí)表示的具體過程如下：
$$\begin{gathered} {\tilde{h}}_u^{(k)}=\sum _{i\in {\mathcal{N}}_u}\frac{{\tilde{r}}_{u,i}}{{\sum }_{j\in {\mathcal{N}}_u}{\tilde{r}}_{u,j}}{\tilde{h}}_i^{(k?1)} \\ {\tilde{h}}_i^{(k)}=\sum _{u\in {\mathcal{N}}_i}\frac{{\tilde{r}}_{u,i}}{{\sum }_{j\in {\mathcal{N}}_i}{\tilde{r}}_{j,i}}{\tilde{h}}_u^{(k?1)}\text{\hspace{1em}(7)} \end{gathered}$$
${\tilde{r}}_{u,i}$在公式（5）中給出。${\mathcal{N}}_u,{\mathcal{N}}_i$分別是用戶$u$和項(xiàng)目$i$的one-hop領(lǐng)域節(jié)點(diǎn)集合。而${\tilde{h}}_u^{(k)},{\tilde{h}}_i^{(k)}$分別是通過k層GNN網(wǎng)絡(luò)學(xué)習(xí)到的用戶與項(xiàng)目的嵌入表示。${\tilde{h}}_u^{(0)}=h_u^s,{\tilde{h}}_i^{(0)}=h_i^s$是最初的表示。

在K層GNN網(wǎng)絡(luò)迭代聚合之后，最終的輸出為${\tilde{h}}_u,{\tilde{h}}_i$，通過每層學(xué)習(xí)到的表示的組合而成。
$${\tilde{h}}_u=\sum _{k=0}^K{\alpha }_k{\tilde{h}}_u^{(k)},{\tilde{h}}_i=\sum _{k=0}^K{\alpha }_k{\tilde{h}}_i^{(k)}\text{\hspace{1em}(8)}$$
${\alpha }_l=\frac{1}{1+K}$為控制GNN第$l$層權(quán)重的超參數(shù)。K等于2或者3，即GNN網(wǎng)絡(luò)層采用兩層的或者三層的。

預(yù)測

通過用戶與項(xiàng)目的最終表示之間的點(diǎn)積，來求得預(yù)測評分：
$${\hat{y}}_{u,i}={\tilde{h}}_u?{\tilde{h}}_i\text{\hspace{1em}(9)}$$
為了訓(xùn)練圖去噪模塊，作者從沒有交互過的用戶-項(xiàng)目對抽取一些樣本（負(fù)樣本）作為訓(xùn)練數(shù)據(jù)，然后使用Bayesian Personalized Ranking（BPR）loss貝葉斯個性化排序損失作為損失函數(shù)：
$${\mathcal{L}}_{BPR}=\sum _{u\in \mathcal{U}}\sum _{i\in {\mathcal{N}}_u}\sum _{j\in \mathcal{I},j\in /{\mathcal{N}}_u}?\log \sigma ({\hat{y}}_{u,i}?{\hat{y}}_{u,j})\text{\hspace{1em}(10)}$$
$\sigma$為sigmoid函數(shù)。

多樣性保留模塊

因?yàn)槿ピ霑趸扑]的多樣性，因此作者在訓(xùn)練過程中，基于去噪交互圖，動態(tài)地構(gòu)造額外的多樣性擴(kuò)充圖。然后通過輔助互信息最大化MIM損失，將多樣性特征注入到去噪后的用戶表示中（公式8）.

多樣性擴(kuò)充圖Diversity Augmented Graph的構(gòu)造

為了權(quán)衡去噪后，推薦的精度與多樣性，關(guān)鍵思路就是將多樣又可靠的邊注入到去噪后的交互圖$\tilde{\mathcal{G}}$中，構(gòu)造額外的多樣性擴(kuò)充圖$\ddot{\mathcal{G}}$。構(gòu)造過程分為兩步：①隨機(jī)采樣和②可靠程度感知選擇。

具體一點(diǎn)，首先，以概率$\rho$統(tǒng)一采樣一組未交互的用戶-項(xiàng)目對：
$$\mathcal{C}=Sample(\{(u,i)|u\in \mathcal{U},i\in \mathcal{I},r_{u,i}=0\}|\rho )\text{\hspace{1em}(11)}$$

$\mathcal{C}=\{(u,i)\}$是我們用來構(gòu)造額外的多樣性圖擴(kuò)充的候選用戶-項(xiàng)目對集合。而$\mathcal{C}$在每一輪訓(xùn)練當(dāng)中都會重新隨機(jī)生成，這樣我們添加交互信息的時候能夠保證多樣性。

隨后，我們選擇高可靠程度的交互關(guān)系即用戶-項(xiàng)目對：
$${\ddot{r}}_{u,i}=\mathbb{I}(s_{u,i}\in top?M(S))?s_{u,i}\text{\hspace{1em}(12)}$$
$S=\{s_{u,i}|(u,i)\in C\}$，$M$是已選擇用戶-項(xiàng)目對的數(shù)目，設(shè)置$M=\frac{|R|}{10}=\frac{|C|}{10}$。注意，不像圖去噪模塊直接移除交互關(guān)系中的不可靠關(guān)系，多樣性保留模塊會從動態(tài)的候選交互中選擇一些交互關(guān)系。此時的圖就是多樣性擴(kuò)充圖，標(biāo)記為$\ddot{\mathcal{G}}$。

多樣性保留

給定重構(gòu)多樣性擴(kuò)充圖$\ddot{\mathcal{G}}$，我們可以利用GNN學(xué)習(xí)節(jié)點(diǎn)嵌入（公式6）。然而從$\ddot{\mathcal{G}}$學(xué)習(xí)到的嵌入表示，可能會和從去噪后的交互圖$\tilde{\mathcal{G}}$學(xué)習(xí)到的表示相矛盾。為了權(quán)衡精度與多樣性，作者利用基于MIM的輔助自監(jiān)督任務(wù)，將兩種節(jié)點(diǎn)表示pull close，并且權(quán)衡這兩個。

MIM基于互信息MI這個概念而提出來的，互信息表達(dá)了隨機(jī)變量之間的依賴關(guān)系。

互信息(Mutual Information)是信息論里一種有用的信息度量，它可以看成是一個隨機(jī)變量中包含的關(guān)于另一個隨機(jī)變量的信息量，或者說是一個隨機(jī)變量由于已知另一個隨機(jī)變量而減少的不肯定性。

從形式上，給定兩個隨機(jī)變量$X$和$Y$，互信息表示通過觀察Y能夠獲得多少關(guān)于X的信息，反之亦然。X和Y的互信息表示為$I(X,Y)$：
$$I(X,Y)=H(X)?H(X|Y)=H(Y)?H(Y|X)\text{\hspace{1em}(13)}$$
這里熵$H(?)$?表示隨機(jī)變量中蘊(yùn)含的不確定性。當(dāng)用來學(xué)習(xí)圖表示時，隨機(jī)變量X和Y通常會對應(yīng)不同的視圖[Jiancan Wu, Xiang Wang, Fuli Feng, Xiangnan He, Liang Chen, Jianxun Lian,and Xing Xie. 2021. Self-supervised graph learning for recommendation. In Proceedings of the 44th International ACM SIGIR Conference on Research and**Development in Information Retrieval. 726–735]。

通過最大化節(jié)點(diǎn)表示的互信息，我們能夠獲得圖的不同視圖之間的相關(guān)性，并且能夠識別出原始圖中最重要的信息。

特別地，在該論文中有兩個用戶-項(xiàng)目交互視圖，即去噪交互圖$\tilde{\mathcal{G}}$和多樣性交擴(kuò)充互圖$\ddot{\mathcal{G}}$。那么，基于不同交互圖，作者采用權(quán)值共享的GNN（公式6，7，8）來學(xué)習(xí)用戶和項(xiàng)目的表示：
$$\begin{gathered} {\tilde{H}}_U,{\tilde{H}}_I=GNN(H_U^{(0)},H_I^{(0)},\tilde{\mathcal{G}}) \\ {\ddot{H}}_U,{\ddot{H}}_I=GNN(H_U^{(0)},H_I^{(0)},\ddot{\mathcal{G}})\text{\hspace{1em}(14)} \end{gathered}$$
直接最大化互信息是十分棘手的。受到前人工作InfoNCE的啟發(fā)，作者采用對比損失，來優(yōu)化MI的下界。具體而言，對于每一個用戶$u$而言，去噪表示${\tilde{h}}_u$和多樣性表示擴(kuò)充${\ddot{h}}_u$分別考慮為anchor和positive sample正樣本。進(jìn)一步，其他用戶的多樣性擴(kuò)充表示就視為負(fù)樣本。給出多樣性保留損失：
$${\mathcal{L}}_{DIV}=?\sum _{u,v\in \mathcal{U}}\log \frac{exp(f({\tilde{h}}_u,{\ddot{h}}_u)/\tau )}{exp(f({\tilde{h}}_u,{\ddot{h}}_u)/\tau )+{\sum }_{v=u}exp(f({\tilde{h}}_u,{\ddot{h}}_u)/\tau )}\text{\hspace{1em}(15)}$$
$\tau$是temperature超參數(shù)，$f(?,?)$是余弦相似度函數(shù)。通過最小化上述輔助損失，我們就能加強(qiáng)從去噪圖學(xué)習(xí)到的用戶表示和從多樣性擴(kuò)充數(shù)據(jù)中學(xué)習(xí)到的用戶表示，二者之間的相關(guān)性。

注意，這里的主要目標(biāo)是為了提升用戶去噪表示的多樣性，而多樣性擴(kuò)充圖只是起個輔助作用。不同于簡單融合兩種表示，作者采用的是，將多樣性信息注入去噪節(jié)點(diǎn)表示。

模型訓(xùn)練

圖去噪模塊和多樣性擴(kuò)充圖模塊二者共同訓(xùn)練，他們的損失函數(shù)為：
$$\mathcal{L}={\mathcal{L}}_{BPR}+{\lambda }_1{\mathcal{L}}_{DIV}+{\lambda }_2||\Theta |{|}_2^2\text{\hspace{1em}(16)}$$
${\lambda }_1,{\lambda }_2=1e?5$是分別用來控制多樣性保留損失強(qiáng)度的超參數(shù)和$L_2$正則化，而$\Theta =\{E_U,E_I\}$是模型的參數(shù)集合。

通過公式(2)-(8)，我們可以生成最終表示用于最后的推斷。

總結(jié)

以上是生活随笔為你收集整理的《Learning to Denoise Unreliable Intercations for Graph Collaborative Filtering》个人笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。