諸神緘默不語-個人CSDN博文目錄

本書網址：https://link.springer.com/book/10.1007/978-3-031-16174-2
本文是本書第四章的學習筆記。
感覺這一章寫得不怎么樣。以研究生組會講異質圖神經網絡主題論文作為標準的話，倒是還行，介紹了HGNN的常見范式和三個經典模型。以教材或綜述作為標準的話，建議別買。

文章目錄

• 1. HGNN
• 2. heterogeneous graph propagation network (hpn)
• • 2.1 semantic confusion
  • 2.2 HPN模型架構
  • 2.3 HPN損失函數
• 2. distance encoding-based heterogeneous graph neural network (DHN)
• • 2.1 HDE概念定義
  • 2.2 DHN+鏈路預測
• 3. self-supervised heterogeneous graph neural network with co-contrastive learning (HeCo)
• 4. Further Reading

1. HGNN

兩步信息聚合：

對目標節點

node-level：對每個metapath聚合所有鄰居節點

semantic level：聚合所有metapath表征

本文介紹的方法關注兩個問題：deep degradation phenomenon and discriminative power

2. heterogeneous graph propagation network (hpn)

分析deep degradation phenomenon問題，減緩semantic confusion

2.1 semantic confusion

semantic confusion類似同質圖GNN中的過擬合問題

HAN模型在不同層上的聚類結果和論文節點表征的可視化圖像，每種顏色代表一種標簽（研究領域）。

（本文中對semantic confusion現象的解釋很含混，略）

HPN一文證明了HGNN和mutiple meta-paths-based random walk是等價的：
multiple meta-paths-based random walk（感覺跟同質圖隨機游走也差不太多嘛，就是多個用metapath處理如同質圖的隨機游走概率疊起來）：

加上步數到極限以后，數學部分我就不太懂了?？傊畣慰幢硎拘问降脑捯廊桓|圖隨機游走相似，意思就是說最終分布只與metapaths有關，與初始狀態無關：

與之相對，meta-path-based random walk with restart的極限分布是與初始狀態有關的：
meta-path-based random walk with restart：${\mathbf{\pi }}^{\Phi ,k}\left(\mathbf{i}\right)=(1?\gamma )?{\text{M}}^{\Phi }?{\mathbf{\pi }}^{\Phi ,k?1}\left(\mathbf{i}\right)+\gamma ?\mathbf{i}$

2.2 HPN模型架構

HPN包含兩部分：

semantic propagation mechanism：除基于meta-path-based neighbors聚合信息外，還以一合適的權重吸收節點的局部語義信息，這樣即使層數加深也能學習節點的局部信息（我說這邏輯聽起來像APPNP啊）

semantic fusion mechanism：學習metapaths的重要性

Semantic Propagation Mechanism
參考meta-path-based random walk with restart：
對每個metapath鄰居，先對節點做線性轉換，然后聚合鄰居信息（一式是底下兩式的加總）：
$$\begin{array}{rl}& {\text{Z}}^{\Phi }={\mathcal{P}}_{\Phi }(\text{X})=g_{\Phi }(f_{\Phi }(\text{X}))\\ & {\text{H}}^{\Phi }=f_{\Phi }(\text{X})=\sigma (\text{X}?{\text{W}}^{\Phi }+{\text{b}}^{\Phi })\\ & {\text{Z}}^{\Phi ,k}=g_{\Phi }({\text{Z}}^{\Phi ,k?1})=(1?\gamma )?{\text{M}}^{\Phi }?{\text{Z}}^{\Phi ,k?1}+\gamma ?{\text{H}}^{\Phi }\end{array}$$

Semantic Fusion Mechanism：注意力機制
$$\begin{array}{rl}& \text{Z}=\mathcal{F}({\text{Z}}^{{\Phi }_1},{\text{Z}}^{{\Phi }_2},\dots ,{\text{Z}}^{{\Phi }_P})\\ & w_{{\Phi }_p}=\frac{1}{|\mathcal{V}|}\sum _{i\in \mathcal{V}}{\text{q}}^{\text{T}}?\tanh (\text{W}?{\text{z}}_i^{{\Phi }_p}+\text{b})\\ & {\beta }_{{\Phi }_p}=\frac{\exp (w_{{\Phi }_p})}{{\sum }_{p=1}^P\exp (w_{{\Phi }_p})}\\ & \text{Z}=\sum _{p=1}^P{\beta }_{{\Phi }_p}?{\text{Z}}^{{\Phi }_p}\end{array}$$

2.3 HPN損失函數

半監督節點分類的損失函數：
$$\mathcal{L}=?\sum _{l\in {\mathcal{Y}}_L}{\text{Y}}_l?\ln ({\text{Z}}_l?\text{C})$$

無監督節點推薦（？這什么任務）的損失函數，BPR loss with negative sampling：
$$\begin{array}{r}\mathcal{L}=?\sum _{(u,v)\in \Omega }\log \sigma \left({\text{z}}_u^{?}{\text{z}}_v\right)?\sum _{\left(u^{},v^{\prime }\right)\in {\Omega }^{?}}\log \sigma \left(?{\text{z}}_u^{?}{\text{z}}_{v^{\prime }}\right),\end{array}$$
第一項是observed (positive) node pairs，第二項是negative node pairs sampled from all unobserved node pairs

（HPN實驗部分略。簡單地說，做了ablation study，做了無監督節點聚類任務，驗證了模型對層級加深的魯棒性（與HAN對比））

2. distance encoding-based heterogeneous graph neural network (DHN)

關注discriminative power：在聚合時加入heterogeneous distance encoding (HDE)（distance encoding (DE) 也是一個同質圖GNN中用過的概念）

Heterogeneous Graph Neural Network with Distance Encoding

傳統HGNN嵌入各個節點，本文關注節點之間的關聯。

2.1 HDE概念定義

heterogeneous shortest path distance：節點數最少路徑的節點數

上圖中所指的圖片就是下圖：

HDE
異質圖最短路徑距離Hete-SPD：每一維度衡量一類節點在最短路徑中出現的次數（不包括第一個節點）

目標節點對錨節點（組）的HDE：目標節點對所有錨節點Hete-SPD先嵌入，后融合

2.2 DHN+鏈路預測

Heterogeneous Distance Encoding for Link Prediction

目標節點分別是節點對的兩個節點，錨節點組也就是這兩個節點。

Node Embedding Initialization：HDE

Heterogeneous distance encoding：僅計算k-hop heterogeneous enclosing subgraph的HDE

Heterogeneous type encoding
$$\begin{array}{rl}& {\text{c}}_i=onehot(?(i))\\ & {\text{e}}_i^{\{u,v\}}=\sigma ({\text{W}}_0?{\text{c}}_i||{\text{h}}_i^{\{u,v\}}+{\text{b}}_0)\end{array}$$

Heterogeneous Graph Convolution：先抽樣鄰居節點
$$\begin{array}{r}{\text{x}}_{u,l}^{\{u,v\}}=\sigma ({\text{W}}^l?({\text{x}}_{u,l?1}^{\{u,v\}}||Avg\{{\text{x}}_{i,l?1}^{\{u,v\}}\}+{\text{b}}^l),?i\in {\mathcal{N}}_u^{\{u,v\}}\end{array}$$

Loss Function and Optimization
$$\begin{array}{rl}& {\hat{y}}_{u,v}=\sigma \left({\text{W}}_1?({\text{z}}_u^{\{u,v\}}||{\text{z}}_v^{\{u,v\}})+b_1\right)\\ & \mathcal{L}=\sum _{(u,v)\in {\mathcal{E}}^{+}\cup {\mathcal{E}}^{?}}\left(y_{u,v}\log {\hat{y}}_{u,v}+\left(1?y_{u,v}\right)\log \left(1?{\hat{y}}_{u,v}\right)\right)\end{array}$$

（實驗部分略。同時做了transductive和inductive場合下的鏈路預測任務）

3. self-supervised heterogeneous graph neural network with co-contrastive learning (HeCo)

關注discriminative power：使用cross-view contrastive mechanism同時捕獲局部和高階結構

以前的工作：原網絡VS破壞后的網絡
HeCo選擇的view：network schema（局部結構） and meta-path structure（高階結構）

從兩個view編碼節點（編碼時應用view mask mechanism），在兩個view-specific embeddings之間應用對比學習。

Node Feature Transformation：每種節點都映射到固定維度
$$\begin{array}{r}{h}_i=\sigma \left(W_{{?}_i}?x_i+b_{{?}_i}\right)\end{array}$$

Network Schema View Guided Encoder
attention：節點級別和類別級別

對某一metapath的鄰居（在實踐中是抽樣一部分節點），應用節點級別attention：
$$\begin{array}{rl}& h_i^{{\Phi }_m}=\sigma ?\sum _{j\in N_i^{{\Phi }_m}}{\alpha }_{i,j}^{{\Phi }_m}?h_j?\\ & {\alpha }_{i,j}^{{\Phi }_m}=\frac{\exp \left(LeakyReLU\left({\text{a}}_{{\Phi }_m}^{?}?[h_i||h_j]\right)\right)}{\sum _{l\in N_i^{{\Phi }_m}}\exp \left(LeakyReLU\left({\text{a}}_{{\Phi }_m}^{?}?[h_i||h_l]\right)\right)}\end{array}$$

對所有metapath的嵌入，應用類別級別attention：
$$\begin{array}{rl}{w}_{{\Phi }_m}& =\frac{1}{|V|}\sum _{i\in V}{\text{a}}_{sc}^{?}?\tanh \left({\text{W}}_{sc}{h}_i^{{\Phi }_m}+{\text{b}}_{sc}\right)\\ {\beta }_{{\Phi }_m}& =\frac{\exp \left(w_{{\Phi }_m}\right)}{{\sum }_{i=1}^S\exp \left(w_{{\Phi }_i}\right)}\\ z_i^{sc}& =\sum _{m=1}^S{\beta }_{{\Phi }_m}?h_i^{{\Phi }_m}\end{array}$$

Meta-Path View Guided Encoder
meta-path表示語義相似性，用meta-path specific GCN編碼：
$$\begin{array}{r}{h}_i^{{\mathcal{P}}_n}=\frac{1}{d_i+1}{h}_i+\sum _{j\in N_i^{{\mathcal{P}}_n}}\frac{1}{\sqrt{(d_i+1)(d_j+1)}}{h}_j\end{array}$$
在所有metapath的表征上加attention：
$$\begin{array}{rl}{z}_i^{mp}& =\sum _{n=1}^M{\beta }_{{\mathcal{P}}_n}?h_i^{{\mathcal{P}}_n}\\ w_{{\mathcal{P}}_n}& =\frac{1}{|V|}\sum _{i\in V}{\text{a}}_{mp}^{?}?\tanh \left({\text{W}}_{mp}{h}_i^{{\mathcal{P}}_n}+{\text{b}}_{mp}\right)\\ {\beta }_{{\mathcal{P}}_n}& =\frac{\exp \left(w_{{\mathcal{P}}_n}\right)}{{\sum }_{i=1}^M\exp \left(w_{{\mathcal{P}}_i}\right)}\end{array}$$

增加對比難度：view mask mechanism

network schema view：不使用目標節點本身上一級別的嵌入
meta-path view：不使用與目標節點不同類（不是目標節點基于metapath的鄰居的節點）的嵌入

Collaboratively Contrastive Optimization
損失函數：傳統對比學習+圖數據

將兩個view得到的嵌入映射到對比學習的隱空間：
$$\begin{array}{r}\begin{array}{rl}{z}_i^{sc}\_proj& =W^{(2)}\sigma \left(W^{(1)}{z}_i^{sc}+b^{(1)}\right)+b^{(2)}\\ z_i^{mp}\_proj& =W^{(2)}\sigma \left(W^{(1)}{z}_i^{mp}+b^{(1)}\right)+b^{(2)}\end{array}\end{array}$$
計算兩個節點之間連的metapath數：${\mathbb{C}}_i(j)=\sum _{n=1}^{M}1\left(j\in N_i^{{\mathcal{P}}_n}\right)$（$1(?)$是indicator function）
將與節點i有metapath相連的節點組成集合$S_i=\{j|j\in Vand{\mathbb{C}}_i(j)=0\}$，基于${\mathbb{C}}_i(?)$數降序排列，如果節點集合元素數大于某一閾值，選出該閾值數個正樣本${\mathbb{P}}_i$，沒選出來的作為負樣本${\mathbb{N}}_i$

計算network schema view的對比損失：
$$\begin{array}{r}{\mathcal{L}}_i^{sc}=?\log \frac{{\sum }_{j\in {\mathbb{P}}_i}exp\left(sim\left(z_i^{sc}\_proj,z_j^{mp}\_proj\right)/\tau \right)}{{\sum }_{k\in \{{\mathbb{P}}_i?{\mathbb{N}}_i\}}exp\left(sim\left(z_i^{sc}\_proj,z_k^{mp}\_proj\right)/\tau \right)}\end{array}$$

總的學習目標：
$$\begin{array}{r}\mathcal{J}=\frac{1}{|V|}\sum _{i\in V}\left[\lambda ?{\mathcal{L}}_i^{sc}+\left(1?\lambda \right)?{\mathcal{L}}_i^{mp}\right]\end{array}$$

（和前兩篇一樣，實驗部分略。重要比較baseline有single-view的對比學習方法DMGI。做了節點分類任務，和Collaborative Trend Analysis（計算隨訓練epoch數增加，attention變化情況?？梢园l現兩個view上attention是協同演變的））

4. Further Reading

慣例啦，因為參考文獻序號匹配不上，所以不確定我找的論文 是否正確。
分層級聚合/intent recommendation/文本分類/GTN-軟擇邊類型、自動生成metapaths/HGT-用heterogeneous mutual attention聚合meta-relation triplet/MAGNN-用relational rotation encoder聚合meta-path instances

Neural graph collaborative filtering

HGNN: Hyperedge-based graph neural network for MOOC Course Recommendation

COSNET: Connecting Heterogeneous Social Networks with Local and Global Consistency

Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation

IntentGC: a Scalable Graph Convolution Framework Fusing Heterogeneous Information for Recommendation

Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification

Graph Transformer Networks

Heterogeneous Graph Transformer

MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding：聚合每個metapath實例內所有節點的信息，然后聚合到每個metapath上，然后將所有metapath表征聚合到目標節點上

總結

以上是生活随笔為你收集整理的Advances in Graph Neural Networks笔记4：Heterogeneous Graph Neural Networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。