論文筆記整理：楊帆，浙江大學計算機學院。

---

? ? ? ? ? ? ?

?

動機

現(xiàn)有的用于圖結構的預訓練方法要么只關注node-level，導致在圖表示空間沒有區(qū)分度，要么只關注graph-level，導致在節(jié)點表示空間沒有區(qū)分度。一種優(yōu)質(zhì)的節(jié)點表示應該保證不僅在節(jié)點層面有良好的區(qū)分度，而且由這些節(jié)點表示生成的圖的表示在全圖層面也有良好的區(qū)分度，所以預訓練過程應同時考慮到node-level和graph-level。

?

? ? ? ? ? ? ?

?

模型

本文提出的模型主要包括node-level預訓練和graph-level預訓練兩部分，其中node-level預訓練包括context prediction和attribute masking兩種實現(xiàn)方法。

? ? ? ? ? ? ?

Node-level pre-training

Context prediction

該方法定義了Neighborhood和Context graph兩個概念，利用兩個GNN分別對每個節(jié)點的Neighborhood和Context graph進行編碼，然后通過負采樣技術，訓練一個二分類器判斷一個Neighborhood表示和一個Context graph表示是否對應相同的節(jié)點，以此聚合周圍節(jié)點的屬性信息和鄰近的圖結構信息。

Attribute masking

該方法首先隨機選取某些節(jié)點的屬性將其MASK（把原始屬性用特殊的標識符替換掉），然后使用GNN對節(jié)點編碼生成節(jié)點表示，最后通過線性模型預測被MASK的屬性值。

????2. Graph-level pre-training

? ? ? ? ? ? ?

首先將節(jié)點的表示聚合起來得到圖的表示，然后在圖上進行多個二分類任務的聯(lián)合訓練。

?

實驗

數(shù)據(jù)集

數(shù)據(jù)集包括生物和化學兩個領域，生物領域的任務是蛋白質(zhì)功能預測，化學領域的任務是分子屬性預測。

實驗結果

ROC-AUC performance

? ? ? ? ? ? ?

Negative transfer

加入graph-level預訓練后，可以很好地防止Negative transfer（使用預訓練效果反而差于不使用預訓練的效果）的出現(xiàn)。

? ? ? ? ? ? ?

?????c. 收斂性

采用本文中的預訓練策略能夠有效加快收斂速度。

? ? ? ? ? ??

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 博客。

總結

以上是生活随笔為你收集整理的论文浅尝 | ICLR 2020 - 图神经网络的预训练策略的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。