? 作者｜田長鑫

機構｜中國人民大學信息學院

研究方向 | 圖表示學習和推薦系統

來源?|?RUC AI Box

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

引言

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型（不能區分任務）或針對每個任務學習單獨的模型（可能對每個任務過擬合）。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

背景知識

圖神經網絡（GNN）

我們首先簡要描述 GNN 的主要架構。圖卷積網絡(GCN)是最具代表性的圖神經網絡，GCN 將卷積神經網絡(CNN)應用到 Graph 上，類似于 CNN 濾波器用鄰近像素的信息表示中心像素，GCN 也應用了從節點的局部鄰域聚集特征信息的關鍵思想。具體來講，GCN 通過將鄰接矩陣 、節點特征 作為輸入，為每個節點生成 維嵌入表示，即一個 2 層的 GCN 網絡可以被定義為：

其中， 為標準化鄰接矩陣 (normalized adjacency matrix)，為加權度矩陣(degree matrix)，, 為 的單位矩陣， 為激活函數。是訓練過程中要學習的第 i 層的權值矩陣。

此外，不同于 GCN，Hamilton 等人還提出了可以泛化到不可見的節點的歸納式 GNN 框架 GraphSAGE。GraphSAGE 在節點 上迭代時，它使用聚集函數 聚集節點 的鄰居表示 ()，并將聚集得到的鄰域表示 與節點 的當前表示拼接，然后通過一個全連接層。具體而言，第 k 次迭代可以表示為：

基于上述框架，GNN 領域已發展出圖注意網絡 (GAT) 、圖自編碼器（Graph Autoencoder）、循環圖神經網絡（Recurrent GNN）等不同變種，這些變種分別應用于節點分類、鏈接預測和圖分類三個主要任務上。

元學習（Meta-Learning）

元學習是機器學習應用中解決訓練數據有限問題的重要策略，其主要思想是利用之前的學習經驗，設計僅利用很少的樣本就可以快速適應新問題的算法。為形式化表示元學習，我們首先回顧在標準的有監督學習框架之下，給定訓練數據集 和損失函數 ? ，此時目標是找到一個形為 的預測函數，即：

而在元學習中，我們從許多不同的任務中獲得訓練樣本，目標是學習一種能夠泛化多個任務的算法。具體來講，任務可能是從分布 中提取的，而元目標是找到可以作用于多個任務的公共參數，即元知識 (meta-knowledge) ：

在測試階段，我們使用元知識在給定的任務 task 0 上測試得到最佳參數，即：

在訓練階段，主流的元學習算法大多基于梯度下降對元參數（meta-parameter）進行優化，這里我們可以抽象出雙層優化問題（bi-level optimization problem）：

雖然元學習取得了巨大的成功，但我們還沒有完全理解元學習的理論基礎。當前比較流行的元學習的解釋是，我們認為不同的任務共享一個公共的共享表示和一個特定于任務的表示，如果從元學習的訓練過程中學習到共享表征，那么之后只需少量樣本就可以學習到新任務的特定任務表征，從而得到最終表征。

概覽

當前已有諸多 GNN 元學習的工作被提出，根據他們的下游任務（Node classification、Link Prediction Graph、Classification）和所共享的的表征類型（Node/Edge Level、Graph Level），我們將現有工作匯總如下：

接下來，我們將從下游的圖任務和共享的的表征類型兩個角度，介紹現有的 GNN 元學習工作。

元學習在圖任務上的應用

我們首先回顧元學習在解決經典圖問題中的應用。這一部分，我們假設底層的圖結構是固定不變的，圖上節點和邊的特征也不隨任務的改變而改變。

節點嵌入（Node Embedding）

節點嵌入的目標是學習圖中節點的表示，以便任何下游應用程序可以直接使用這些表示，而無需考慮原始圖。由于大多數圖的度分布遵循冪律分布，且節點多而連接少，長尾問題嚴重，這給節點嵌入的學習帶來了挑戰。發表于 CIKM ?2020 的 meta-tail2vec 借助 MAML 元學習來解決該挑戰。meta-tail2vec 建立了一個回歸問題來學習節點嵌入，以此捕捉節點嵌入學習過程中的共同先驗。

由于 high-degree 節點的結構信息豐富，其表示被認為是準確的，所以它們被用作元訓練集（meta training）來學習共同先驗。low-degree 節點只有少量的鄰居，結構信息匱乏，所以用于學習其表示的回歸問題被作為元測試（meta-testing）問題，而借助由 high-degree 節點學習得到的共同先驗，我們使用少量的樣本即可學習這些 low-degree 節點的嵌入。

節點分類（Node Classification）

節點分類任務的目的是推斷給定的部分標記圖中節點的缺失標簽，這個問題在文檔分類和蛋白質分類等不同的場景中均有出現。然而，現實中許多類別通常是新穎的，它們只有很少的標記節點。這恰恰給 meta-learning 和 few-shot learning 帶來用武之地。

發表于 CIKM 2019 的 Meta-GNN 將元學習框架應用于圖的節點分類問題，它使用擁有許多標記樣本的類來學習可轉移表示，在元測試階段，這種共享表征被用來對具有少量標記樣本的新類別進行預測。

而發表于 AAAI 2021 的 RALE 認為學習任務中節點之間的依賴關系也很重要，并提出使用中心性得分高的節點(hub nodes)來更新 GNN 學習到的表示。RALE 是通過選擇一小組 hub 節點來完成的，對于每個節點 v，考慮從這組 hub 節點到節點 v 的所有路徑。

鏈接預測（Link Prediction）

元學習也可用于通過多關系圖（multi-relational graph）中的邊/鏈學習新的關系。多關系圖在知識圖譜、藥物相互作用預測等很多領域均有應用，其中的邊由兩個端點和一個關系組成的三元組表示。多關系圖中鏈路預測的目標是在給定關系r的一個端點的情況下，通過觀察幾個關于 r 的三元組來預測新的三元組。這個問題具有挑戰性因為通常只有少數關聯三元組可用。

發表于 EMNLP 2019 的 MetaR 利用元學習通過兩步解決鏈接預測問題，即 (1)Relation-Meta Learner 從 support set 的頭尾嵌入生成元關系（relation meta），(2)Embedding Learner 通過端點嵌入和元關系計算 support set 中三元組的真實值。

此外，多關系圖中有新節點加入時的鏈接預測問題也受到了人們的關注， NIPS 2020 的 GEN（Graph Extrapolation Network）預測可見節點和不可見節點之間以及不可見節點之間的聯系。其主要思想是將給定圖中的實體隨機分割為模擬不可見實體的元訓練集（meta-training set）和真實不可見實體的元測試集（meta-test set）。

Meta-Learning on GNN

除上述場景外，還有很多 GNN 元學習設定 Graph 在不同任務中是變化的，即節點、邊特征發生變化或網絡結構隨任務發生變化。這些工作大多基于共享表征，并且根據共享表征的層次可以將他們分為局部級（節點/邊）和全局級（圖）。此外，大多數現有的工作采用 MAML 算法來訓練 GNNs，其中 MAML 的外部循環更新了共享參數，而內部循環更新了當前任務的任務特定參數。

節點/邊共享表征（Node/Edge Level Shared Representation）

我們首先考慮局部的共享表征，即基于節點/邊的設置。發表于 NIPS 2020 的 G-META 考慮了節點分類問題，其中輸入圖和標簽可以在不同任務中不同。他們分兩步學習每個節點 u 的表示：1）根據到節點 u 的最短路徑距離，抽取得到子圖 ；2）將子圖 通過一個 GCN 學習得到節點 u 的表示。

這里抽取子圖 的動機是節點對中心節點 u 的影響會隨著最短距離的增加指數降低。而在節點分類問題中，一旦對節點進行編碼，就可以學習任意一個函數 將編碼映射到類標簽。G-META 利用 MAML 在一個新任務上用很少的樣本學習該函數，在節點分類中利用節點級共享表征。

同樣考慮了網絡結構固定，但節點特征隨任務變化的情況下的少樣本節點分類問題。具體來講，給定節點特征矩陣 ，為第 t 個任務學習得到一個新的特征矩陣，然后用 GNN 學習第 t 個任務的節點表征。訓練過程中，外層循環更新 參數，而 MAML 的內層循環只更新 參數，這使我們能夠快速適應新任務。

圖共享表征（Graph Level Shared Representation）

現在我們討論全局的共享表征。圖級表示的經典應用是圖分類，而圖分類通常需要大量的樣本來進行高質量的預測。因此，使用少量標記圖數據進行學習對于實際應用具有挑戰性，這可以通過元學習來解決。現有的利用元學習進行圖分類的論文通常先學習一種底層的共享表示，然后再將其用于新的任務。

Chauhan 在 ICLR 2020 上提出基于圖譜度量的少樣本分類方法。在元訓練階段，他們訓練特征提取器 來從圖中提取特征。在進行分類時，他們使用 來預測圖的超類（super-class）概率，用注意力網絡 來預測實際的類標簽。在元訓練階段， 和 的參數被固定， 將在新的類別上進行重新訓練。由于特征提取器 是通用的共享結構，并且沒有對測試任務進行再訓練，因此該方法只需要從新類中獲取少量樣本。

盡管 Chauhan 針對圖分類提出了一種新的圖元學習結構，但該體系結構假定測試的超類結構和訓練集之間有明顯重疊，并且固定的特征提取器不能為新的任務更新。為此，Ma 提出了允許特征提取器有效地適應新的任務的元學習技術。他們使用兩個網絡嵌入層()，然后用分類層()對給定的圖進行分類。但對于新任務， 和 都進行了更新。具體實現過程中，作者使用 MAML 來更新參數，并使用基于強化學習的控制器來確定如何進行內層循環，如決定一個新任務的最佳適應步驟。

此外，發表于 NIPS 2020 workshop 的 SAME (Single-Task Adaptation for Multi-Task Embeddings) 嘗試開發可以適應圖分類、節點分類和鏈接預測三種不同任務的框架。類似于先前的工作，他們使用一個節點嵌入層生成節點嵌入并將圖轉換為表示，然后用多頭輸出層適應這三種類型任務。MAML 在初始化階段訓練節點嵌入層，在 MAML 內環中根據任務類型更新多頭輸出層。

未來方向

接下來，我們將討論關于 meta-learning 和 GNN 的一些未來研究方向。

• 新興應用：GNN meta-learning 的框架也可以考慮應用到其他相關問題上，例如交通預測、網絡對齊、分子性質預測等。其中，在交通預測中，主要的挑戰是對交通的復雜時空關聯進行建模，并捕捉這些關聯在不同位置的多樣性。為此我們可以考慮如何應用元學習來學習這些相關性，并利用這些元知識在不同的地點進行高質量的預測? 而網絡對齊旨在映射或鏈接來自不同網絡的實體，這于跨域推薦等許多應用領域相關。然而現有的網絡對齊方法難以規模化，一個有趣的研究方向是考慮用元學習來增強網絡對齊的可伸縮性。

• 圖組合優化：圖組合優化問題在社交網絡、醫療保健等許多領域都有應用。近期 GNN 也被用于解決該問題，這些基于 GNN 的方法在生成實際解集之前，需要生成候選解的節點/邊。然而，在這些問題的解集中，每個節點重要性的標簽通常很難得到，為此我們可以嘗試使用元學習進行解決。此外，這些組合問題通常具有相似的結構，如影響最大化問題與 Max Cover 問題就有相似之處，因此我們可以借助元學習，在容易獲得標簽的“簡單”問題上學習得到先驗，然后將其用于解決較難獲得標簽的”困難“問題。

• 圖挖掘問題：最近有一些嘗試解決圖挖掘問題的 GNN 框架，如確定兩個圖之間的相似度。為此，我們可以思考當相似度的概念發生變化，且沒有足夠的數據來通過標準的監督學習方法進行學習時，元學習是否有幫助? 另一個常見問題是檢測兩個輸入圖之間的最大公共子圖(MCS)，它在生物醫學分析和惡意軟件檢測中有廣泛的應用。然而，MCS 計算是 NP-hard，并且最先進的精確 MCS 求解器不能擴展到大型圖。為 MCS 問題設計基于學習的模型，同時盡可能少地使用標記 MCS 實例，仍然是一項具有挑戰性的任務，而元學習可能有助于應對這一挑戰。

• 理論基礎：在 GNN 元學習的背景下，有兩個重要的理論問題。一是如何理解遷移學習對 GNN 的幫助。二是確定共享表征的正確層次，弄清楚這種結構的表現力。并且由于用于元學習的 GNN 進一步限制了所使用的體系結構類型，所以我們需要考慮它是否會在表達性上帶來任何額外的成本。

參考文獻

[1] Debmalya Mandal, Sourav Medya, Brian Uzzi, Charu Aggarwal. “Meta-Learning with Graph Neural Networks: Methods and Applications."?

[2] Zemin Liu, Wentao Zhang, Yuan Fang, Xinming Zhang, and Steven CH Hoi. “Towards locality-aware meta-learning of tail node embeddings on networks”. In: CIKM. 2020, pp. 975–984.?

[3] Zemin Liu, Yuan Fang, Chenghao Liu, and Steven CH Hoi. “Relative and Absolute Location Embedding for Few-Shot Node Classification on Graph”. In: AAAI (2021).?

[4] Mingyang Chen, Wen Zhang, Wei Zhang, Qiang Chen, and Huajun Chen. “Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs”. In: EMNLP-IJCNLP. 2019, pp. 4208–4217.?

[5] Davide Buffelli and Fabio Vandin. “A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings”. In: arXiv preprint arXiv:2012.06755 (2020).

更多閱讀

?

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的Learning to Learn：图神经网络上的元学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。