筆記整理 |?方尹，浙江大學在讀博士，研究方向：圖表示學習。

---

論文地址：https://arxiv.org/abs/2012.12533

動機與貢獻

現(xiàn)有的對比學習框架中可能存在以下幾個弊端：

1.把節(jié)點看成一種視圖，在節(jié)點和圖之間進行對比學習，這樣可能會限制模型捕獲整體信息的能力；

2.把子圖看成一種視圖，挑選子圖的方法比如隨機游走或著k-hop鄰居很大概率會得到完全沒有意義的子圖。而依賴于子圖結(jié)構(gòu)計數(shù)的motif mining方法又不適用于大規(guī)模數(shù)據(jù)集。

?

作者提出了MICRO-Graph框架：

1.自動化找出motif，再找出這個motif下的子圖

2.一種子圖到圖的對比學習框架

模型與算法

整體框架分為三部分：1.找出重要的子圖；2.cluster抽出來的子圖，并定義主題；3.子圖到圖的對比學習。

圖通過GNN encoder得到節(jié)點的表示，再通過segmenter模塊抽取子圖，子圖通過encoder獲得子圖表示，子圖的表示通過motif learner模塊學習子圖屬于哪些主題，更新的參數(shù)又會影響segmenter抽取子圖的方式和節(jié)點表示。把最終生成的子圖和整個圖進行對比學習。

Motif learner

input graph通過segmenter抽取出N個子圖，每個子圖通過encoder學習到子圖的表示。這里要用到的兩個矩陣：S衡量了主題和子圖的相似度，Q衡量了子圖被分配到某個主題的概率。

E-step的目標就是求解Q，使得子圖和它被分配到的主題的相似度最大。

目標函數(shù)：最大化 分配矩陣Q和相似度矩陣S乘積的跡 其實就是最大化子圖和它被分配到的主題的相似度。因為在進行表示學習時representation會發(fā)生變化，可能會導(dǎo)致退化的問題，比如所有的表示都聚到一個cluster。所以這里引入了一個約束H(Q).

M-step的目標是在已知最優(yōu)Q的情況下，尋找似然函數(shù)最大化時對應(yīng)的參數(shù)，更新encoder的參數(shù)和motif embedding table。相當于一個label為Q，預(yù)測得分為S的K-分類問題。利用負對數(shù)似然做損失函數(shù)，這里的S做了softmax normalization.

motif learner的作用就是在給定的子圖上學習他們的主題。

Motif-guided subgraph segmenter

包含n個節(jié)點的graph通過encoder得到每個節(jié)點的embedding, 計算了節(jié)點兩兩之間的相似度。通過A，進行譜聚類：將聚類后，組成成分多于3個節(jié)點的子結(jié)構(gòu)作為subgraph, 聚合子結(jié)構(gòu)包含的所有節(jié)點embedding作為subgraph embedding.

它的訓(xùn)練基于一種直覺：如果子圖和主題很相似，那么子圖的節(jié)點embedding隨著update也會相似。Loss：如果子圖和任意主題相似度高于某個閾值，就讓子圖中節(jié)點的affinity values更高，這些節(jié)點和不在子圖中的其他節(jié)點的affinity values越低。

經(jīng)過訓(xùn)練，在下一個sampling回合中，產(chǎn)生出來的motif-like的子圖的節(jié)點更有可能被分割在一起，這樣的子圖才會更有意義。

Contrastive learning between graph and subgraphs

圖和從這張圖中sample出的子圖作為positive pairs；這張圖和從其他圖中sample出的子圖作為negative pairs. W是圖和子圖的相似度矩陣。

Joint training

訓(xùn)練時同時考慮三個模塊的損失。

實驗與結(jié)果

1.兩種evaluation protocol：

2.五個最頻繁出現(xiàn)的主題，用與他們最相近的subgraph表示：

3.Ablation study

歡迎有興趣的同學閱讀原文。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進入 OpenKG 網(wǎng)站。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 主题驱动的分子图表示对比学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。