AAAI 的英文全稱是 Association for the Advance of Artificial Intelligence——美國人工智能協會。該協會是人工智能領域的主要學術組織之一，其主辦的年會也是人工智能領域的國際頂級會議。在中國計算機學會的國際學術會議排名以及清華大學新發布的計算機科學推薦學術會議和期刊列表中，AAAI 均被列為人工智能領域的 A 類頂級會議。

AAAI 2021論文接收列表如下：

https://aaai.org/Conferences/AAAI-21/wp-content/uploads/2020/12/AAAI-21_Accepted-Paper-List.Main_.Technical.Track_.pdf

本文主要梳理了AAAI 2021上圖神經網絡方面的最新進展，主要涵蓋：

更加基礎的研究：表示能力/過平滑/傳播機制/災難性遺忘

更加復雜的圖數據：異質圖/有向圖/動態圖

更加豐富的訓練策略：混合訓練/數據擴增/對比訓練

更加多樣化的應用：推薦/藥物化學/物理系統/NLP/CV

更加基礎的研究：表示能力/過平滑/傳播機制/災難性遺忘

隨著GNN研究的深入，一些研究者不在僅僅關注于設計模型架構，而是試圖挖掘和解決GNN更加fundamental的問題，如GNN的表示能力。

大部分GNN的表示能力的上界就是WL-Test，對于同構的圖結構無法區分，進而無法學習到有區分度的節點表示。ID-GNN[1]通過一個簡單的ID增強策略就可以極大提升GNN的表示能力，讓原本無法區分的圖結構(或者GNN的聚合圖)區分開來。

“傳播是GNN的本質”。但是深層GNN傳播遠距離的信息會帶來過平滑現象導致模型效果下降。GCC[2]研究了GNN的傳播機制，其不僅解釋了過平滑的本質，還解決了為什么GNN的各種變種可以一定程度上緩解過平滑現象。

災難性遺忘指模型會忘記先前學習到的知識，在NN中已經有了一些研究。TWP[3]研究了GNN上的遺忘問題并提出了一種拓撲感知的權重保留技術來克服上述問題。類似的ER-GCN[4]利用經驗回放機制來實現GNN在連續任務上的持續學習，也可以一定程度的可以遺忘問題。

更加復雜的圖數據：異質圖/有向圖/動態圖

在GNN的研究初期，大家的目光主要集中在簡單同質圖(只有一種節點和邊)上，這大幅度降低了代碼實現的難度。例如，經典的GCN只需要AXW即可實現。但是，實際情況往往更加復雜，隨著GNN研究的深入，大家開始關注一些更為復雜也更有實際價值的圖數據，如異質圖、動態圖、有向圖和超圖等。

考慮到多種類型節點之間的豐富交互，為了避免信息損失，我們需要將其建模為異質圖。GraphMSE[5]就是一種針對異質圖數據設計的GNN，其充分挖掘了多種交互下鄰居(結構)信息來提升節點表示。HGSL[6]則探索了異質圖結構對于節點表示的影響，通過學習更加的準確的圖結構來提升GNN的表現。

在微博圖上，用戶之間有關注或者拉黑等關系，這實際是一種有向符號網絡。SDGNN[7]是一種針對有向符號圖設計的圖神經網絡，同時考慮了邊的方向/符號(喜歡為正，討厭為負)和動態圖演化的相關理論(status theory 和 balance theory)來更好的建模動態性并實現圖的表示學習。

圖數據往往是動態變化的。HVGNN[8]在雙曲空間里建模了動態圖隨時間演化的特性，其引入了一種時間感知的注意力機制(Tem- poral GNN)來區分不同時間段內節點的差異。RNN-GCN[9]則是將經典的時序模型RNN引入到GNN中，利用dynamic stochastic block來捕獲節點和社區的演化過程，進而實現動態圖上的節點聚類。

更加豐富的訓練策略：混合訓練/數據擴增/對比訓練

經典的GNN(包括GCN和GAT)都是以半監督節點分類Loss進行訓練的。隨后的研究也沿著這個路線，將目光集中在如何設計更加精巧的模型架構來提升模型效果。的確，復雜的模型可以提升效果，但是其往往超參數較多且難以訓練。相較于設計新的模型架構，一些研究者開始探索如何利用訓練策略(如數據擴增)來提升現有GNN模型的效果。

GraphMix[10]整合了interpolation數據擴增和self-training數據擴增技術，將簡單的GCN架構提升到接近SOTA的效果。例如，原始的GCN在Cora的效果只有81.3，而GraphMix訓練策略可以將GCN的效果提升至83.94。同時，GraphMix無需額外的內存消耗，計算消耗也幾乎不變。

類似的，GAUG[11]也嘗試從數據擴增的角度來提升現有半監督GNN的效果。具體來說，GAUG設計了一個edge prediction來編碼圖上節點的類內同質結構，然后提升類內邊的數量(移除類間邊)。然后，基于修改后的更加精準的圖結構，在Cora數據集上，GAUG將GCN的效果提升至83.6，將GraphSAGE的效果提升至83.2。

與上述兩個工作不同，Contrastive GCNs with Graph Generation (CG3)[12] 嘗試對標簽進行增強。實際上，如果沒有足夠的監督信號，半監督學習Semi-Supervised Learning (SSL)的效果都是有限的。考慮到圖上半監督學習的特點，本文不僅僅考慮了同類數據不同view之間的相關性，還建模了節點屬性和圖拓撲結構之間的潛在聯系來作為額外的監督信號。基于增強后的圖監督信號，CG3在標簽率只有0.5%的情況下，可以取得8%左右的絕對準確率提升！

更加多樣化的應用：推薦/藥物化學/物理系統/NLP/CV

圖上的鏈路預測實際就是推薦。將GNN用到推薦中是非常自然的一件事。HGSRec[13]將異質圖神經網絡用于建模淘寶用戶之間的分享行為，預測了用戶之間的三元分享行為。GHCF[14]將推薦系統中多樣的用戶-商品交互建模為多關系異質圖并設計了相應的圖神經網絡架構來實現推薦。DHCN[15]建模了Session-based Recommendation中的超圖交互，利用雙通道的超圖卷積網絡來實現商品推薦。

圖結構數據可以很好地建模分子及其之間的化學鍵。因此，AI制藥開始嘗試利用GNN來實現藥物分子的研發(如性質預測，逆合成)。GTA[16]將GNN用于藥物分子領域的逆合成預測問題，CAGG[17]則是從圖生成的角度來實現藥物分子的合成。

MGTN[18]將圖像數據轉為圖結構數據，利用圖像中不同目標(建模為子圖)之間的關系建模來實現更好的多類圖像分類，而PC-RGNN[19]將點云數據建模為圖，利用圖上不同尺度的關系聚合來強化其點云的表示。

參考文獻

Identity-aware Graph Neural Networks

Why Do Attributes Propagate in Graph Convolutional Neural Networks

Overcoming Catastrophic Forgetting in Graph Neural Networks

Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay

GraphMSE: Efficient Meta-path Selection in Semantically Aligned Feature Space for Graph Neural Networks

Heterogeneous Graph Structure Learning for Graph Neural Networks

SDGNN: Learning Node Representation for Signed Directed Networks

Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs

Interpretable Clustering on Dynamic Graphs with Recurrent Graph Neural Networks

GraphMix: Improved Training of GNNs for Semi-Supervised Learning

Data Augmentation for Graph Neural Networks

Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

Who You Would Like to Share With? A Study of Share Recommendation in Social E-commerce

Graph Heterogeneous Multi-Relational Recommendation

Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation

GTA: Graph Truncated Attention for Retrosynthesis

Cost-Aware Graph Generation: A Deep Bayesian Optimization Approach

Modular Graph Transformer Networks for Multi-Label Image Classification

PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object Detection

本期責任編輯：楊成

本期編輯：劉佳瑋

---

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站qq群704220115，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【GNN】AAAI2021 | 图神经网络研究进展解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。