筆記整理：許澤眾，浙江大學博士在讀

論文鏈接：https://arxiv.org/abs/2003.01332

本文主要提出一種處理異構圖的方法，所謂異構圖（Heterogeneous graph）是指在一個圖中會出現(xiàn)不同類型的邊和節(jié)點的圖。早期對于圖的處理圖的方法一般集中于同構圖的處理。近年來開始關注對異構圖的處理，但是一般都具有以下缺點：

1.大多涉及到為每種類型的異構圖設計元路徑（meta-path），但是這種元路徑需要手工定義，這不僅需要領域知識，同時降低了效率；2.或者假設不同類型的節(jié)點/邊共享相同的特征和表示空間，這顯然是不合適的；或者單獨為不同節(jié)點類型或邊類型保留各自單獨的非共享權重，這忽略了異構圖之間的交互性；3.大多忽略了每一個（異構）圖的動態(tài)特性（個人覺得這一點和之前的兩點不是在解決同一個問題，應該知只是為了豐富文章內容）；4.無法對Web規(guī)模的異構圖進行建模。

為了處理異構圖，文章的核心思想是將每條邊的模型參數(shù)分解為三個矩陣相乘。其分解根據(jù)每條邊的三元組 <初始節(jié)點類型，邊類型，目標節(jié)點類型>來定義。這就是文中所提的元關系（meta-relation）。整體的計算參照transformer。以下圖為例：

對于左圖這樣的異構圖，可以定義出不同的元關系，每個meta-relation由三部分組成。文中提出相比于R-GCN，HGT的優(yōu)勢在于因為使用了三部分來定義元關系，這使得模型對于出現(xiàn)頻次較低的關系的學習能力更強（因為另外兩部分出現(xiàn)的頻次可能不低）。

整個模型的框架可以分為三部分：Heterogeneous Mutual Attention，Heterogeneous Message Passing 和 Target-Specific Aggregation。分別用來計算attention，傳遞信息，信息聚合。

第一部分

受transformer的啟發(fā)，將目標節(jié)點映射為query，源節(jié)點映射為Key。

與傳統(tǒng)Transformer不同的點在于：HGT中每個元關系都有一組不同的投影權重W，傳統(tǒng)Transformer是所有單詞使用同一組權重。

ATT-head表示第i個注意力頭；K(s) 代表源節(jié)點s投影成的第i個Key向量；Q(t) 代表目標節(jié)點t投影成第i個Query向量；μ(·) 表示每個關系三元組的一般意義，作為對注意力自適應縮放；

Attention(·) 的操作主要是把h個 ATT-head 連接，得到每個節(jié)點對（s,t）的注意力向量；從本質上說，該操作就是對于每個目標節(jié)點t，從鄰接節(jié)點N(t)收集的注意力向量，再進行一次softmax得到概率分布。

第二部分

與第一步類似，這一步也將元關系融入信息傳遞過程來緩解不同類型節(jié)點和邊的分布差異。

第三部分

最后一部分依據(jù)前兩部分的計算結果將表示更新。

文章的第二部分主要是提出相對時間編碼（RTE）技術處理動態(tài)圖。

傳統(tǒng)的方法是為每個小時間片（time slot）構建圖，但這種方法會丟失大量的不同時間片間的結構依賴信息。

因此，受Transformer的位置編碼（position embedding）啟發(fā)，作者提出RTE機制，建模異質圖上的動態(tài)依賴關系。

主要思想就是將時間差的信息編碼到表示中從而引入時間對表示的影響。這里有一點在于train的時候見過的時間差不能覆蓋所有可能的時間差，所以作者引入以下偏置函數(shù)將時間差泛化到可見范圍。

為了處理web規(guī)模的數(shù)據(jù)，設計了針對異構圖的采樣算法 HGSampling。它的主要思想是樣本異構子圖中不同類型的節(jié)點以相同的比例，并利用重要性采樣降低采樣中的信息損失。

本文在其之前舉例的開放學術圖譜上進行實驗：

但是這里值得注意的是，在對各種entity進行embedding的初始化的時候，實際上添加了相當多的信息，例如對field、venue等節(jié)點，就采用了自己argue的metapath2vec模型來進行初始化，所以實驗結果的有效性應該也與這種設定有較強的關系。以下是部分實驗結果：

同時還給出了一個根據(jù)計算的attention自動構建的meta-path的樣例：

---

OpenKG

OpenKG（中文開放知識圖譜）旨在推動以中文為核心的知識圖譜數(shù)據(jù)的開放、互聯(lián)及眾包，并促進知識圖譜算法、工具及平臺的開源開放。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 | 异构图 Transformer的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。