論文解讀者：北郵 GAMMA Lab 博士生? 薄德瑜

題目： 在圖卷積網絡中超越低頻信息

會議： AAAI 2021

論文鏈接： https://arxiv.org/abs/2101.00797

圖神經網絡已被證明在各種與網絡相關的任務中都是有效的。現有的大多數圖神經網絡通常都利用節點特征中的低頻信號，這引起了一個基本問題：在實際應用中，我們只需要低頻信號嗎？在本文中，我們首先進行了一項實驗研究，評估了低頻和高頻信號的作用，結果清楚地表明，僅使用低頻信號不能在不同情況下學習到有效的節點表示。如何能夠自適應地學習圖神經網絡中低頻信息以外的更多信息？一個好的回答可以幫助圖神經網絡增強適應性。為了解決這一挑戰，并提出了一種具有自門控機制的新穎的頻率自適應圖卷積網絡(Frequency Adaptation Graph Convolutional Networks, FAGCN)，該方法可以在消息傳遞過程中自適應地集成不同頻率的信號。為了更深入地了解，我們從理論上分析了低頻信號和高頻信號在學習節點表示中的作用，這進一步解釋了為什么頻率自適應圖卷積網絡可以在不同類型的網絡上表現良好。在六個真實世界的網絡上進行的大量實驗證明，頻率自適應圖卷積網絡不僅可以緩解過度平滑的問題，而且還具有優于最新技術的優勢。

1 引言

圖神經網絡通過聚集來自鄰居的信息來更新節點表示，這可以看作是低通濾波器的一種特殊形式。最近的一些研究表明信號的平滑性，即低頻信息，是圖神經網絡成功的關鍵。然而，我們所需要的只是低頻信息嗎？其他信息在圖神經網絡中扮演什么角色？這是一個基礎問題，啟發我們重新思考圖神經網絡在學習節點表示時是否能夠全面利用節點特征信息。

圖神經網絡中的低通濾波器主要保留了節點特征的共性，這不可避免地忽略了節點特征的差異，使得相連節點的表示變得相似。由于低頻信息的平滑性，這種機制可能適用于同配網絡，即同一類的節點傾向于彼此連接。然而，現實世界中的網絡并不總是同配的，有時是異配的，即不同類的節點往往相互連接。例如，在蛋白質-蛋白質相互作用網絡中，化學反應經常發生在不同類型的蛋白質之間。如果我們通過使用低通濾波器強迫相鄰節點的表征相似，顯然，性能將受到很大的阻礙。

為了為上述分析提供更多的證據，我們以低頻和高頻信號為例，通過實驗來評估它們的作用（詳情見第2節）。結果表明，這兩種方法都有助于學習節點表征。具體地說，我們發現當一個網絡表現出異配性時，高頻信號的表現要比低頻信號好得多。這意味著，高頻信號在圖神經網絡中不總是無用的；而低頻信號對于復雜的網絡來說也不是最優的。既然圖神經網絡中低頻信息的缺點已經被確認，一個自然的問題就是如何在圖神經網絡中使用不同頻率的信號，同時，讓圖神經網絡能夠適應不同類型的網絡？

我們設計了一種通用的頻率自適應圖卷積網絡，用于自適應地聚合來自鄰居或自身的不同信號。我們首先利用圖信號理論，形式化的定義了增強型低通和高通濾波器，用來將低頻和高頻信號從原始特征中分離出來。在此基礎上，設計了一種在不需要知道網絡類型的情況下，能夠自適應融合低頻信號、高頻信號和原始特征的自門控機制。理論分析表明，頻率自適應圖卷積網絡是現有圖神經網絡的一個推廣，它能夠自由地縮短或擴大節點表示之間的距離，這進一步解釋了為什么頻率自適應圖卷積網絡能夠在不同類型網絡上的表現良好。

2 探索研究

在本節中，我們以低頻和高頻信號為例，分析它們在學習節點表示中的作用。具體來說，我們生成了一系列合成網絡，其特點是類內連接(intra-connection)的概率固定為0.05，同時類間連接(inter-connection)的概率逐漸從0.01增大到0.1。當類間連接的概率較小時，網絡表現出同配性；隨著類間連接概率的增加，網絡逐漸呈現出異配性。然后我們測試了低頻和高頻信號的節點分類性能的變化情況，具體如下：

圖(a)說明了隨著類間連接概率的增加，低頻信號的準確度降低，而高頻信號的準確度逐漸提高。這說明低頻和高頻信號都有助于學習節點表示。當類間連接概率增大時，現有的圖神經網絡失敗的原因，如圖(b)所示，它們只聚合來自相鄰節點的低頻信號，使得節點表示變得相似，而不管節點是否屬于同一類，從而失去了區分性。我們提出的頻率自適應圖卷積網絡結合了低通和高通濾波器的優點，可以將同類鄰居的低頻信號和不同類鄰居的高頻信號進行聚合，如圖(c)所示，從而在每個合成網絡上都顯示出最佳的性能。

3 方法

在介紹模型之前，我們首先比較已有圖神經網絡和頻率自適應圖卷積網絡在聚合過程上的區別。下圖左側展示了已有的圖神經網絡在聚合中考慮了每個節點的重要性；右側是頻率自適應圖卷積網絡，它利用了兩個系數 和 來分別聚合鄰居的低頻和高頻信息。

為了充分利用節點特征中的低頻和高頻信號，我們設計了增強低通濾波器和增強高通濾波器，將低頻和高頻信號從節點特征中分離出來：

的卷積核是，重寫為；的卷積核是。其頻率響應濾波函數如圖所示：

可以看到，對于二階低通濾波器，如圖(b)所示，當時，其濾波器響應函數，因此會為低頻信號低通一個更強的增益；當時，，因此會抑制高頻信號。二階高通濾波器，如圖(d)所示，會為高頻信號提供更強的增益，同時抑制低頻信號。

將濾波器和，與特征矩陣相乘，我們可以得到每個節點的低頻和高頻信息。然后利用一個門控機制來控制信息聚合過程中低頻和高頻信號的占比：

但是上式有兩個缺點：一是低通濾波器和高通濾波器都依賴于拉普拉斯矩陣進行定義，所以只能做transductive模型；二是低頻和高頻信息的提取需要濾波器和特征矩陣相乘，計算開銷太大。為了解決這兩個問題，我們設計了空間域上的頻率自適應網絡，該模型既有歸納和批處理的能力，又有很好的可解釋性：

右式可以分為兩部分：是節點自身的特征；是節點鄰居的特征，則代表了鄰居節點的權重。我們可以發現，如果假設低頻和高頻的比例和為1，即，則。我們如果令，當時，低頻信號會主導節點表征；而時，高頻信號的作用較大。此外，我們發現，（即聚合時邊權重為正）代表了節點和其鄰居的和；（即聚合時邊權重為負）代表了節點和其鄰居的差，在第4節我們會進一步分析邊權重正負所帶來的影響。最后我們用一個簡單的方法來學習邊權重：

tanh激活函數可以保證邊權重在之間。最后我們的模型框架可以形式化為以下公式：

4 理論分析

我們進一步分析了邊權重正負會給學習節點表征帶來什么樣的影響。具體來說，如果用正權重聚合鄰居信息，則節點和其鄰居表征之間的距離會縮小（）；而用負權重聚合會使得節點和其鄰居表征之間的距離變大（）。

5 實驗

同配網絡節點分類實驗：

異配網絡節點分類實驗：

過平滑實驗：最后我們還分析了FAGCN對于緩解過平滑也有一定的幫助，原因有兩個：一是在第4節中，我們展示了負權重可以防止節點表示過于相似；另一種是我們將原始特征（包含低頻和高頻信息）添加到每一層，這進一步防止節點表示變得難以區分。

本期責任編輯：楊成

本期編輯：劉佳瑋

---

北郵 GAMMA Lab 公眾號

主編：石川

責任編輯：王嘯、楊成

編輯：劉佳瑋

副編輯：郝燕如，紀厚業

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯 本站知識星球“黃博的機器學習圈子”（92416895） 本站qq群704220115。 加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【CV论文解读】AAAI2021 | 在图卷积网络中超越低频信息的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。