AI TIME歡迎每一位AI愛好者的加入！

近年來，圖神經(jīng)網(wǎng)絡(luò)(GNN)在社交網(wǎng)絡(luò)、知識圖譜、推薦系統(tǒng)甚至生命科學(xué)等領(lǐng)域得到了越來越廣泛的應(yīng)用。但在復(fù)雜的圖數(shù)據(jù)中，我們很難高效利用實(shí)體之間的相互依賴關(guān)系。本期AI Time PhD直播間，香港中文大學(xué)計(jì)算機(jī)系的碩士二年級研究生侯逸帆，分享了自己的團(tuán)隊(duì)在被譽(yù)為“深度學(xué)習(xí)中的頂會”——ICLR (2020)中發(fā)表的研究成果。讓我們看看這位學(xué)霸是如何巧妙利用節(jié)點(diǎn)的“鄰里關(guān)系”，來選擇圖數(shù)據(jù)和改進(jìn)圖神經(jīng)網(wǎng)絡(luò)吧！

一、背景知識

a)

圖數(shù)據(jù)與數(shù)據(jù)分類

圖是一種強(qiáng)大的數(shù)據(jù)結(jié)構(gòu)，能夠輕松地表示實(shí)體(即節(jié)點(diǎn))之間的各種關(guān)系(即邊)。

實(shí)體可以是社交網(wǎng)絡(luò)中的用戶個體，或者分子結(jié)構(gòu)圖中的原子。

關(guān)系可以是社交網(wǎng)絡(luò)中用戶之間的朋友關(guān)系、相似性關(guān)系等，或者分子結(jié)構(gòu)圖中原子之間的相互關(guān)系。

一般在圖數(shù)據(jù)中，節(jié)點(diǎn)(實(shí)體)的選擇是固定的，但是邊的構(gòu)建方法卻多種多樣。例如社交網(wǎng)絡(luò)中，既可以依據(jù)用戶的相似性，也可以將其交互行為、好友關(guān)系構(gòu)建成邊，從而組成網(wǎng)絡(luò)。

因此，當(dāng)分布相對均勻的原始數(shù)據(jù)分類較為困難時，如果能根據(jù)一些額外的關(guān)系信息、把同類點(diǎn)之間的距離“拉近”，從而有效地調(diào)整數(shù)據(jù)分布，那么分類的邊界選擇會更加容易，從而其任務(wù)表現(xiàn)也會獲得很好的性能提升。

b)

圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)(GNN)廣泛應(yīng)用于圖數(shù)據(jù)的表示學(xué)習(xí)。它可以利用圖中的關(guān)系信息，捕捉到節(jié)點(diǎn)鄰居的豐富特征，從而提升下游基于圖數(shù)據(jù)的任務(wù)表現(xiàn)。

通用的GNN框架搭建方法如下：

Step 1: 使用聚合器(Aggregate)將鄰居的特征聚集起來。

不同節(jié)點(diǎn)的鄰居數(shù)量不同，因此這一步能將任意數(shù)目的鄰居點(diǎn)的特征向量整合為固定長度的向量。

聚合的方法：mean, sum, weighted sum…

從降噪的角度出發(fā)：mean(能抑制噪聲) >= weighted sum > pooling > sum(會放大噪聲)。

Step 2: 使用組合器(Combine)把聚合完的特征向量和節(jié)點(diǎn)自身的特征向量組合為一個新的特征向量。

組合的方法：concatenate, mean, weighted sum…

從保留信息的能力出發(fā)：concatenate(乘以參數(shù)矩陣來決定向量中的有用部分) > mean = weighted sum(對信息有一定失真)

實(shí)際上，并不是所有節(jié)點(diǎn)的鄰居都包含特定任務(wù)的相關(guān)信息。因此，數(shù)據(jù)關(guān)系既可能提供正面信息也可能造成負(fù)干擾！比如圖中，拉近不同類點(diǎn)之間的距離，反而會讓分類問題更加復(fù)雜。如此利用額外信息，會起到相反效果！

問題來了：什么樣的圖數(shù)據(jù)(關(guān)系)，是適合目前的圖神經(jīng)網(wǎng)絡(luò)的？

答案：利用數(shù)據(jù)關(guān)系帶來的性能提升，和原始圖數(shù)據(jù)中節(jié)點(diǎn)從鄰居獲取的信息的“數(shù)量”和“質(zhì)量”有關(guān)！為此，可以用兩種平滑度度量方法，來衡量這兩個方面！

二、兩個平滑度度量

a)

背景：KL散度(或信息增益)

已知S(surrounding)后對原系統(tǒng)C(context)的信息增益：通俗來講，C和S的歐式距離越大，其二者特征越不相似，鄰居節(jié)點(diǎn)能帶來的信息增益越大，導(dǎo)致對節(jié)點(diǎn)特征的改變越大。

b)

背景：圖信號處理后的平滑度

Lambda(傅里葉變換的頻率)很小時，表示信號頻率和很低，平滑程度很高。

Lambda很大時，表示信號頻率很高，表現(xiàn)為很不平滑(平滑度很低)。

c)

信息度量一：特征平滑度

對圖上所有節(jié)點(diǎn)，算出每個節(jié)點(diǎn)與鄰居節(jié)點(diǎn)的距離之和的平方，然后對所有節(jié)點(diǎn)進(jìn)行加和，取曼哈頓距離，最后除以特征維度和邊的數(shù)目，得到特征平滑度。數(shù)學(xué)證明KL散度與特征平滑度成正比，即信息增益的大小與特征平滑度成正相關(guān)。

d)

信息度量二：標(biāo)簽平滑度

針對圖中所有的邊，計(jì)算連接不同類別節(jié)點(diǎn)的邊的比例，得到取值范圍為0-1的值。直觀上，標(biāo)簽平滑度為零時，只有同類數(shù)據(jù)會被“拉近“。

注意：現(xiàn)實(shí)中無法獲知測試集的標(biāo)簽信息，因此可用訓(xùn)練集已知的標(biāo)簽平滑度來近似真實(shí)的位置的標(biāo)簽平滑度。

三、神奇的CS-GNN模型

于是，侯逸帆提出了一種新的模型CS-GNN，該模型利用這兩個平滑度指標(biāo)選擇性地聚集鄰居信息，以放大有用信息，減少負(fù)干擾！

注意這里存在一個tradeoff：盡可能地選同類別(保證信息增益的質(zhì)量)的不相似的(提高信息增益的大小)鄰居。

實(shí)驗(yàn)結(jié)果證明了的方法對于給定任務(wù)測量圖形的平滑度值的有效性，并且CS-GNN能夠獲得更多有用的信息，以實(shí)現(xiàn)優(yōu)于現(xiàn)有方法的性能！

答疑互動

最后和大家分享直播后微信群里大家與兩位嘉賓的部分互動。

剛剛result部分的OOM是指什么？該程序跑起來，需要什么樣的服務(wù)器？

一般來說對于圖數(shù)據(jù)，會經(jīng)常有OOM(Out of memory)的情況出現(xiàn)。一般一個16G的卡跑帶attention的GNN節(jié)點(diǎn)數(shù)不能超過10W。過大的話就只能通過鄰居采樣等方法優(yōu)化，或者是持續(xù)用IO幾個batch讀一次。

有點(diǎn)好奇特征平滑度和標(biāo)簽平滑度有特定閾值嗎？比如達(dá)到什么范圍時圖數(shù)據(jù)的效果最好？

因?yàn)檫@兩個值是信息增益的一個近似，很難去用他們得到一些精確的結(jié)論。不過還是可以用這兩個值幫助大家選擇圖數(shù)據(jù)或者理解改進(jìn)圖神經(jīng)網(wǎng)絡(luò)的

整理：鴿鴿

審稿：侯逸帆

AI Time歡迎AI領(lǐng)域?qū)W者投稿，期待大家剖析學(xué)科歷史發(fā)展和前沿技術(shù)。針對熱門話題，我們將邀請專家一起論道。同時，我們也長期招募優(yōu)質(zhì)的撰稿人，頂級的平臺需要頂級的你，請將簡歷等信息發(fā)至yun.he@aminer.cn！

微信聯(lián)系：AITIME_HY

?

AI Time是清華大學(xué)計(jì)算機(jī)系一群關(guān)注人工智能發(fā)展，并有思想情懷的青年學(xué)者們創(chuàng)辦的圈子,旨在發(fā)揚(yáng)科學(xué)思辨精神，邀請各界人士對人工智能理論、算法、場景、應(yīng)用的本質(zhì)問題進(jìn)行探索，加強(qiáng)思想碰撞，打造一個知識分享的聚集地。

更多資訊請掃碼關(guān)注

(點(diǎn)擊“閱讀原文”下載本次報告ppt)

(直播回放：https://b23.tv/BV1fV411k7n1)

總結(jié)

以上是生活随笔為你收集整理的kl散度度量分布_论“邻里关系”的学问：度量和改进图信息在图神经网络中的使用 | AI Time PhD ICLR...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。