从ICLR 2022看什么是好的图神经网络？
?作者 | 劉雨樂
學校 |?上海科技大學
研究方向 | 機器學習與圖神經網絡
什么是好的 GNN？如果僅僅是用數據集上的測試結果，實際上是一種不太公正的結果。第一，網絡可能只對某一種數據集效果好；第二，網絡可能是經過玄學調參優化后對某些數據學習能力較強。實驗導向的質量分析終究不如有一套理論的來的實在，Keyulu 大神基于 WL-test 給出了一套檢驗框架。
Xu, K., Hu, W., Leskovec, J. and Jegelka, S., 2018. How powerful are graph neural networks?.?arXiv preprint arXiv:1810.00826.
所謂 WL-test 即為一種檢驗異構圖的測試，與 GNN 相似，WL-test 也是迭代的的更新節點的特征，就像 GNN 的聚合-結合（Aggregate-Combine）的過程一樣，他可以把不同的圖編碼為不同的 embedding，而異構圖變成相同的；相反，對于一個 GNN 來說，很難把異構圖映射到同一個 embedding。作者指出，一個 GNN 不可能比 WL-test 更有效也是基于此。究其根本，WL-test 得到的 embedding 是一個從原圖的單射。所以我們要得到一個提取特征能力強大的 GNN，最基本要做的就是創造所謂的從圖到 embedding 的單射。
但是有趣的是，ICLR 2022 的一篇新論文發現了比 WL-test 更強大的框架，有待繼續看。
基本思路明確了以后，就是要開始建模了。
首先是 GNN 的基本框架，從鄰居聚合（Aggregate），把聚合后的的特征與上一層的特征結合（Combine），如有需要，最后對全圖進行聚合（Readout）即可。
我們所熟知的 Graph Sage 和 GCN，GAT 本質是更換函數。所謂的 Spectral 和 sptial 的觀點，不過是之前沒有了解清楚罷了。
其次是為了證明結果的理論框架，論文的 theorem 其實都非常直觀：
1. 單射最強定理：
這里是最基本的東西，即信息傳播時聚合，必須是一個單射；全圖讀出時，也必須是一個單射，這樣就保持了 WL-test 的特性。
2. sum-單射引理
即，我們使用 sum 進行聚合是一個符合條件的單射。
3. 構造模型，基于上述符合的條件，可以構造一種特殊的 GNN，作者將其命名為? GIN（graph isomorphic network）
實際上，只要是符合條件的網絡還可以構造相當多個。
關于全圖的 readout，作者選擇把每一層的信息都聚合連起來，是因為較前方的聚合的信息往往更有用，其實這里的設計應該是像 Resnet 一樣的東西。
除了自己的模型，作者還分析了其他的模型
1. 對于 GCN 而言，聚合函數（Aggregate）選用一層的 MLP，這并不是一個單射，為什么還能達到不錯的效果呢？MLP 本身就是有模擬任何函數的功能，這其實相當于近似了一個 sum，但是肉眼可見的，會有許多不能達到的情況，因此不能達到更好的表現。
2. 關于 MEAN-aggre 和 MAX-aggre 的缺陷：
不同顏色代表不一樣的特征，動手算一算就可以知道這些圖用 max 或者 mean 或多或少會不能區分，因為傳遞到中心節點的信息是完全一樣的。
3. 特別的作者還指出，mean 和 max 有他們獨有的情景，這些情境中可以達到好的效果，主要是因為不會有錯誤出現。
如果分布不同，mean 就不會出現誤判；
如果節點之間互不相同，max 就會有效。
還有其他的兩個，GAT 的帶權重的特征和 LSTM 的池化，作者沒分析，估計是沒時間了，理論上也能證出來。
理論上好的東西，簡單的模型也能達到好的效果。
上一章節，說到什么是好的圖神經網絡，keyulu et al. 認為如果把聚合和全圖讀出加以修改，使得能成為一個單射的話，那么 GNN 就可以達到和 1-WL test 同等的效果。
后來的工作也大多由此為基礎展開，大致分為三個方向：
1. 最樸素的想法，用 GNN 模擬更高階的 WL-test，就好比 GCN 出來后不少人試了更高階的切比雪夫不等式，準確率變高但是運算量卻變大很多
2. 提取一些子結構如 cycles，d-regular graphs 作為新的特征進行訓練
3. 增強節點的特征或者引入隨機特征來分析
這些工作重要，但是并沒有跳脫現有框架。
ICLR 2022 的論文 A NEW PERSPECTIVE ON"HOW GRAPH NEURAL NET-WORKS GO BEYOND WEISFEILER-LEHMAN?"
@inproceedings{ wijesinghe2022a, title={A?New?Perspective?on?''How?Graph?Neural?Networks?Go?Beyond?Weisfeiler-Lehman?''}, author={Asiri?Wijesinghe?and?Qing?Wang}, booktitle={International?Conference?on?Learning?Representations}, year={2022}, url={https://openreview.net/forum?id=uxgg9o7bI_3} }重新把很久之前的的 spectral 和 sptial 的方向作為切入點，spectral 考慮了拓撲結構，而 GAT，GIN 等一系列方法聚合時本質還是把拓撲結構上的東西扔掉了，所以作者基于此，從信息傳遞的框架出發，定義了關于圖拓撲結構的特征進行聚合，成功把 spectral 和 sptial 兩種方法考慮的出發點都融合進去了得到了現在這篇文章。
考慮 1-WL test，下圖是一個其失效的例子：
鄰居都一樣，但是鄰居之間有不同，所以簡單的聚合就失效了。為了刻畫這種鄰居間的關系，作者引入了一套新的理論體系：
到了喜聞樂見的新定義環節，這些定義很煩，說人話就是：
鄰居子圖：：一個點和他的鄰居還有對應的邊
重疊子圖：：兩個鄰居子圖 and 的重疊部分
子圖異構（1）：兩個圖完全一樣（連接方式）
重疊異構（2）：重疊部分一樣
子樹異構（3）：接鄰的節點一樣，邊可能不一樣
下面是一個例子來驗證這些定義：
顯然的，這三種異構的一個包含一個，1 最小，3 最大。
有了這些我們就有一個直觀認識，量化一個節點和他鄰居的關系，要考慮他們之間的緊密程度，就要從這三種異構的角度去考慮，其中重疊的子圖能最好的描述節點和某一鄰居的關系，自然的，我們需要引出這樣的參數 omega，應該有如下的性質：
1. 重疊子圖是完全圖的，最強，完全圖越大越強
2. 節點相同，邊越多越強
3. 重疊子圖一樣，這兩個權重也一樣。以下是兩個例子：
然后做聚合，這下就要把剛才定義的參量 A 拿進來，就形成這樣的框架：
這里就是實踐部分了，前向傳播時還是為了保證單射，采用了 sum 的 combine 方法，和 GIN 還是很像的，主要創新點就是把結構信息量化并且塞進了聚合的函數。前面理解了看到這里只剩感嘆這種 omega 是怎么設計出的。
消融實驗：研究了不同的 lamda 的特點，發現為 1 時，更多考慮的是不同節點的的特征，適用于節點分類；為 2 時，考慮的的時重疊圖的相似度，適用于圖分類。下標的意思是僅僅修改下標網絡結構的聚合方式，其他的部分不變得到的結果
舉個例子，具體可以到論文的附錄看，這篇文章附錄真的很多：
過平滑的分析：
這個玩意相比 GCN 對更多的層數時更耐草，因為描述鄰居連接關系的的參數 omega 本質上就是一個帶有不同權重的特征，這個限制了連接緊密程度不同的的鄰居流過來的信息，有效防止了過平滑。
還是那句話既有 spectral 又有 spitial，應該是兩種理念第一次交融，所以效果格外的好。
插一嘴，看看 openreview 真的有用，前提是 ICLR 這種頂會：
https://openreview.net/forum?id=uxgg9o7bI_3
特別鳴謝
感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
總結
以上是生活随笔為你收集整理的从ICLR 2022看什么是好的图神经网络？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 小白启动盘怎么用 小白启动盘使用教程
- 下一篇： win10点程序不运行不了怎么办啊 wi