當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

2019年，异质图神经网络领域有哪些值得读的顶会论文？

發(fā)布時(shí)間：2024/10/8 编程问答 33 豆豆

生活随笔收集整理的這篇文章主要介紹了 2019年，异质图神经网络领域有哪些值得读的顶会论文？小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

本文主要梳理了 2019 年各大頂會(huì)上關(guān)于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的論文，包括算法研究及應(yīng)用研究。同時(shí)，作者也整理了相關(guān)大牛老師/論文/資料/數(shù)據(jù)集供大家學(xué)習(xí)。

作者丨紀(jì)厚業(yè)

學(xué)校丨北京郵電大學(xué)博士生

研究方向丨異質(zhì)圖神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)是近年來圖數(shù)據(jù)挖掘領(lǐng)域的熱?研究?向之?，尤其以 Graph Convolutional Network，Graph Attention Network 為代表的圖神經(jīng)網(wǎng)絡(luò)已經(jīng)引起了學(xué)術(shù)界與?業(yè)界的?泛關(guān)注。

然?，?前的圖神經(jīng)網(wǎng)絡(luò)主要針對(duì)同質(zhì)圖（節(jié)點(diǎn)類型和邊類型單?）設(shè)計(jì)。同質(zhì)圖中只有?種類型的節(jié)點(diǎn)和邊（例如，只有朋友關(guān)系的社交網(wǎng)絡(luò)），網(wǎng)絡(luò)結(jié)構(gòu)較為簡(jiǎn)單。因此，同質(zhì)圖神經(jīng)網(wǎng)絡(luò)通常只需要聚合單?類型的鄰居來更新節(jié)點(diǎn)的表示即可（例如，通過在朋友關(guān)系下的鄰居來更新節(jié)點(diǎn)表示）。

但真實(shí)世界中的圖大部分都可以被自然地建模為異質(zhì)圖（多種類型的節(jié)點(diǎn)和邊，如下圖所示，IMDB 數(shù)據(jù)中包含三種類型的節(jié)點(diǎn) Actor、Movie 和 Director，兩種類型的邊 Actor-Moive 和 Movie Director）。多種類型的節(jié)點(diǎn)和豐富的語義信息給異質(zhì)圖神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)帶來了巨大挑戰(zhàn)。

與同質(zhì)圖不同，異質(zhì)圖通常需要需要考慮不同關(guān)系下鄰居信息的差異。因此，異質(zhì)圖神經(jīng)網(wǎng)絡(luò)通常采用層次聚合的?式：1）?節(jié)點(diǎn)級(jí)別（下圖 (a)）。針對(duì)節(jié)點(diǎn)，找到其在某種關(guān)系下的鄰居并聚合鄰居信息來得到節(jié)點(diǎn)在某種關(guān)系下的表示；2）?語義級(jí)別（下圖 (b)）。對(duì)多種關(guān)系（不同的邊類型/元路徑）下的節(jié)點(diǎn)表示進(jìn)?融合，得到?個(gè)較為全?的節(jié)點(diǎn)表示。元路徑是?種節(jié)點(diǎn)間的連接模式，如上圖中的 Movie-Actor-Movie 和 Movie-Director-Moive。注意，不同類型的邊關(guān)系（如 Movie Actor）可以認(rèn)為是?度為 1 的元路徑。?

接下來的章節(jié)，我們首先梳理了?種異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)設(shè)計(jì)，然后介紹了異質(zhì)圖神經(jīng)網(wǎng)絡(luò)在的實(shí)際應(yīng)用（NLP/推薦/惡意評(píng)論檢測(cè)）。最后，附上了異質(zhì)圖分析的相關(guān)導(dǎo)師/論文/資料/數(shù)據(jù)集。?

模型

?WWW 2019?

本文由北京郵電大學(xué)聯(lián)合清華大學(xué)和西弗吉尼亞大學(xué)發(fā)表在 WWW 2019 上。?本文首次提出了基于注意力機(jī)制的異質(zhì)圖神經(jīng)網(wǎng)絡(luò) Heterogeneous Graph Attention Network (HAN)，可以?泛地應(yīng)用于異質(zhì)圖分析。作者也開源了相關(guān)的代碼和數(shù)據(jù)：

https://github.com/Jhy1993/HAN?

HAN 也遵循經(jīng)典的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)架構(gòu)（節(jié)點(diǎn)級(jí)別聚合與語義級(jí)別聚合）。為了更好的實(shí)現(xiàn)層次聚合函數(shù)，HAN 利用語義級(jí)別注意力和節(jié)點(diǎn)級(jí)別注意力來同時(shí)學(xué)習(xí)元路徑與節(jié)點(diǎn)鄰居的重要性，并通過相應(yīng)地聚合操作得到最終的節(jié)點(diǎn)表示。這是?個(gè)很自然的想法，因?yàn)楣?jié)點(diǎn)鄰居的重要性或者是元路徑的重要性肯定是有所差異的。如果能捕獲這種差異性應(yīng)該能帶來?定的提升。模型整體架構(gòu)如下圖所示：

HAN 中節(jié)點(diǎn)級(jí)別的聚合：

這里設(shè)計(jì)了節(jié)點(diǎn)級(jí)別的注意力旨在學(xué)習(xí)在給定元路徑?Φ 下不同鄰居 j 的重要性，然后通過加權(quán)平均來學(xué)習(xí)節(jié)點(diǎn)在某個(gè)語義下的表示。

這里，?代表節(jié)點(diǎn) i 在元路徑?Φ 下的鄰居的重要性，?代表節(jié)點(diǎn) i 在元路徑?Φ 下的表示。注意，?只能描述節(jié)點(diǎn)某?個(gè)??的特點(diǎn)。給定?組元路徑，我們可以得到?組節(jié)點(diǎn)表示。?

HAN 中語義級(jí)別的聚合：

這里涉及了語義級(jí)別注意力旨在學(xué)習(xí)多個(gè)元路徑下的節(jié)點(diǎn)表示的重要性，并進(jìn)?加權(quán)融合。?

其中，代表各個(gè)元路徑的重要性，Z 代表最終的節(jié)點(diǎn)表示。可以看出，Z 融合了節(jié)點(diǎn)多個(gè)??的表示，可以更加全?的對(duì)節(jié)點(diǎn)進(jìn)?描述。

?KDD 2019?

本文與上篇 Heterogeneous Graph Attention Network 名字僅有?字之差，發(fā)表時(shí)間也僅僅相差 3 個(gè)?。Heterogeneous Graph Neural Network (HetGNN) 也遵循異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的層次聚合?式，只是聚合器的設(shè)計(jì)略有不同。數(shù)據(jù)集和代碼?：

https://github.com/chuxuzhang/KDD2019_HetGNN

模型整體框架如下如所示：

與 HAN 不同，本文的 HetGNN 沒有考慮節(jié)點(diǎn)級(jí)別的注意力，?是用了 LSTM 作為聚合器來聚合某種關(guān)系下的節(jié)點(diǎn)鄰居并更新節(jié)點(diǎn)表示。這里的鄰居選擇也有所不同：通過 random walk with restart 來選擇固定數(shù)量的鄰居。?

HetGNN 中的節(jié)點(diǎn)級(jí)別的聚合：

其中，是節(jié)點(diǎn) v 在特定關(guān)系 t 下的鄰居集合，是鄰居節(jié)點(diǎn) v'?的初始表示，?是節(jié)點(diǎn) v 聚合了特定關(guān)系 t 下鄰居信息的表示。?

HetGNN 中的語義級(jí)別的聚合：

這里，是融合多個(gè)語義下的節(jié)點(diǎn) v 的表示，代表節(jié)點(diǎn)對(duì)自身信息的權(quán)重，代表節(jié)點(diǎn)對(duì)其在關(guān)系 t 下表示的權(quán)重。

可以看出，HetGNN 也是經(jīng)典的層次聚合，只不過節(jié)點(diǎn)級(jí)別的聚合器選取了 LSTM。?

?NeurIPS?2019?

本文所提出的 Graph Transformer Networks 也遵循異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的層次聚合。但是本文的重點(diǎn)并不在于聚合器的設(shè)計(jì)，?是解決異質(zhì)圖分析中的另?個(gè)重要問題：如何選取合適元路徑？

異質(zhì)圖分析的很多文章都需要預(yù)先指定元路徑（包括上述兩篇文章），但是這需要很強(qiáng)的先驗(yàn)知識(shí)。元路徑選的好不好會(huì)極大的影響模型的效果。GTN 可以自動(dòng)的逐步?成對(duì)任務(wù)有用的元路徑，省去了??指定帶來的偏差。數(shù)據(jù)集和代碼?：

https://github.com/seongjunyun/Graph_Transformer_Networks

整個(gè)模型架構(gòu)?下圖：

GTN 中節(jié)點(diǎn)級(jí)別的聚合：

這里采用經(jīng)典 GCN 的聚合?式。針對(duì)第 i 條元路徑，通過聚合得到的節(jié)點(diǎn)表示為。?

其中，?代表第?i 條元路徑的鄰居矩陣（包含自連接）。?

GTN 中語義級(jí)別的聚合：

給定 C 條元路徑，?這里是簡(jiǎn)單的將多條元路徑下的節(jié)點(diǎn)表示拼接起來。?

其中，Z 代表最終的節(jié)點(diǎn)表示。?

應(yīng)用

?EMNLP?2019?

本文由北京郵電大學(xué)聯(lián)合南洋理?大學(xué)發(fā)表在 EMNLP 2019，是異質(zhì)圖神經(jīng)網(wǎng)絡(luò)在 NLP 中的應(yīng)用。?數(shù)據(jù)集和代碼?：

http://www.shichuan.org/dataset/HGAT.7z

針對(duì)短文本分類的稀疏/歧義和標(biāo)簽稀缺問題，通過將其建模為異質(zhì)圖來解決數(shù)據(jù)稀疏和歧義帶來的挑戰(zhàn)。下圖是作者在 AG-News 數(shù)據(jù)上建?的異質(zhì)圖。

同時(shí)，本文提出了?種異質(zhì)圖注意力 HGAT 來學(xué)習(xí)短文本的表示并進(jìn)?分類。HGAT 也遵循異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的層次聚合，并且利用層次注意力機(jī)制來實(shí)現(xiàn)更好的信息聚合。模型架構(gòu)?：

HGAT 中的節(jié)點(diǎn)級(jí)別的聚合：

首先將節(jié)點(diǎn)及其鄰居的表示拼接起來，然后通過單層 MLP 和注意力向量將其轉(zhuǎn)化為注意力分?jǐn)?shù)。

其中，代表節(jié)點(diǎn) v 的鄰居 v'?的重要性，對(duì)起進(jìn)?歸?化后就得到了注意力權(quán)重。?然后，根據(jù)注意力權(quán)重來進(jìn)?對(duì)鄰居加權(quán)平均并得到節(jié)點(diǎn)表示。

HGAT 中的語義級(jí)別的聚合：

這里作者首先定義了節(jié)點(diǎn)?v 在關(guān)系?τ 下的表示。然后計(jì)算了其注意力分?jǐn)?shù)。?

其中，是針對(duì)關(guān)系類型 τ 的注意力向量。?

?KDD?2019?

本文由北京郵電大學(xué)聯(lián)合阿里巴巴發(fā)表在 KDD 2019，?是異質(zhì)圖神經(jīng)網(wǎng)絡(luò)在推薦中的應(yīng)用。針對(duì)淘寶業(yè)務(wù)的實(shí)際需求，本文將 Intent Recommendation 場(chǎng)景建模為?個(gè)大規(guī)模異質(zhì)圖，并提出了?種基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的推薦算法 MEIRec。作者也給出了?個(gè) Intent Recommendation 的例?，?下圖：

本文所提出的 MEIRec 的核?思想是：設(shè)計(jì)?個(gè)異質(zhì)圖神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí) user 和 query 的表示。這里的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)也遵循經(jīng)典的層次聚合?式。下圖展示了 MEIRec 的整個(gè)算法框架。

可以看出，作者選擇了 QIU 和 IQU 兩條元路徑來學(xué)習(xí) User 的表示，選擇了 QIU 和 IUQ 來學(xué)習(xí) Query 的表示。這里將異質(zhì)圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦時(shí)?較自然的：淘寶的實(shí)際業(yè)務(wù)場(chǎng)景是天然的異質(zhì)圖，多條元路徑可以更好地對(duì)節(jié)點(diǎn)進(jìn)?描述。?

MEIRec 中的節(jié)點(diǎn)級(jí)別的聚合：

以針對(duì) User 的元路徑 UIQ 為例，首先聚合 Query 的新來更新 I 的表示。

這里，g 是簡(jiǎn)單的平均操作。然后聚合 I 的表示來更新 User 的表示：

這里，g 是用了 LSTM。?

MEIRec 中的語義級(jí)別的聚合：

以針對(duì) User 的多條元路徑為例，?最終的 User 的表示：

最后，基于所學(xué)習(xí)的?User?和?Query?的表示進(jìn)??Intent?Recommendation。將異質(zhì)圖神經(jīng)網(wǎng)絡(luò)應(yīng)用于推薦時(shí)?常自然的。很多推薦問題都與圖上的鏈路預(yù)測(cè)息息相關(guān)。?

?CIKM?2019?

本文由阿里巴巴發(fā)表在 CIKM 2019 上，是異質(zhì)圖神經(jīng)網(wǎng)絡(luò)在垃圾評(píng)論中的應(yīng)用。本文也獲得了 CIKM 的最佳應(yīng)用論文獎(jiǎng)。

作者將閑?上的惡意評(píng)論建模為?個(gè)大規(guī)模異質(zhì)圖（如下圖所示），提出了?種 GCN-based Anti-Spam (GAS) 模型，可以實(shí)現(xiàn)?效準(zhǔn)確的垃圾評(píng)論檢測(cè)。由于這里的圖數(shù)據(jù)實(shí)際上只有 User-Item 之間的?種關(guān)系，GAS 模型并沒有遵循異質(zhì)圖神經(jīng)網(wǎng)絡(luò)經(jīng)典的層次聚合，只選取了?種元路徑（User-Item）在節(jié)點(diǎn)層?來聚合鄰居信息。

GAS 的節(jié)點(diǎn)級(jí)別的聚合：

這里與上??篇的聚合都所不同，作者引?了 User-Item 邊上的評(píng)論信息作為邊的特征。首先，聚合鄰居信息更新邊的表示。

這里，l 代表聚合的層數(shù)，U(e)?和 I(e) 分別代表這條邊 e 兩端的 User 和 Item。?

然后，更新 User/Item 的表示。?這里以 User 為例：

其中，代表第 l 層節(jié)點(diǎn) u 鄰居的表示，代表第 l 層節(jié)點(diǎn) u 的表示。?

總結(jié)

圖神經(jīng)網(wǎng)絡(luò)已經(jīng)成為深度學(xué)習(xí)領(lǐng)域的熱?研究?向之?。作為真實(shí)?活中?泛存在的異質(zhì)圖，其相應(yīng)的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)具有更?的實(shí)際研究?jī)r(jià)值。下?通過?個(gè)表格來對(duì)?本文所整理所有算法。

编程问答

2019年，异质图神经网络领域有哪些值得读的顶会论文？

模型

應(yīng)用

總結(jié)

相關(guān)信息（導(dǎo)師/資料/論文/數(shù)據(jù)）

總結(jié)