圖神經(jīng)網(wǎng)絡(luò)簡史、簡介

• 1.圖神經(jīng)網(wǎng)絡(luò)簡史
• 2.圖神經(jīng)網(wǎng)絡(luò)--學(xué)習(xí)過程
• 3.圖神經(jīng)網(wǎng)絡(luò)--理論基礎(chǔ)
• 4.圖神經(jīng)網(wǎng)絡(luò)的局限
• 5.GNN,RNN,GGNN
• 6.小結(jié)

閱讀筆記：從圖(Graph)到圖卷積(Graph Convolution)：漫談圖神經(jīng)網(wǎng)絡(luò)模型 (一)(https://www.cnblogs.com/SivilTaram/p/graph_neural_network_1.html)
該文詳細(xì)寫明了設(shè)涉及的參考材料，是一個(gè)很棒的綜述性材料。本文僅作為閱讀該系列文章的筆記，詳情請(qǐng)參考原文。

GNN側(cè)重于時(shí)序展開，GCN是空間序展開

1.圖神經(jīng)網(wǎng)絡(luò)簡史

2005年–圖神經(jīng)網(wǎng)絡(luò)的概念被提出，

2009年–Franco博士在論文[1]《The graph neural network model》闡明了圖神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)。早期的GNN用于諸如依據(jù)分子結(jié)構(gòu)對(duì)物質(zhì)進(jìn)行分類等問題。

2013年–Bruna首次提出基于頻域和基于空域的卷積神經(jīng)網(wǎng)絡(luò)[2]。

其后，基于空域卷積的研究偏多，基于頻域的工作相對(duì)較少。

2014年–引發(fā)了圖表示學(xué)習(xí)的研究熱潮(DeepWalk，知識(shí)圖譜的分布式表示)。

2.圖神經(jīng)網(wǎng)絡(luò)–學(xué)習(xí)過程

（沒有明白如何測(cè)試，哪些東西是可學(xué)習(xí)的？）
基本思想就是：建模一張圖（最核心的部分，希望可以通過后續(xù)的例子來說明如何建模一張圖），通過信息的傳播使整張圖達(dá)到收斂，在其基礎(chǔ)上再進(jìn)行預(yù)測(cè)。

學(xué)習(xí)目標(biāo)1–利用狀態(tài)更新函數(shù)f，獲取每個(gè)結(jié)點(diǎn)的圖感知的隱藏狀態(tài)。
學(xué)習(xí)目標(biāo)2–利用輸出函數(shù)g，來適應(yīng)下游任務(wù)，例如分類。

狀態(tài)更新函數(shù)f，用來不斷更新結(jié)點(diǎn)的隱藏狀態(tài)。其輸入是：該結(jié)點(diǎn)的特征、鄰居結(jié)點(diǎn)的隱藏狀態(tài)、鄰居結(jié)點(diǎn)的隱藏狀態(tài)、邊的特征。f使用神經(jīng)網(wǎng)絡(luò)建模，用另據(jù)結(jié)點(diǎn)的額隱藏狀態(tài)來更新當(dāng)前結(jié)點(diǎn)的狀態(tài)，直至隱藏狀態(tài)的變化幅度很小。

輸出函數(shù)g，其輸入是某一個(gè)結(jié)點(diǎn)的特征和隱藏狀態(tài)，得到下游任務(wù)的輸出，例如分類任務(wù)。

loss與f,g學(xué)習(xí)：（以社交網(wǎng)絡(luò)為例，在整張圖中）并不是每個(gè)結(jié)點(diǎn)都有監(jiān)督信號(hào)。有監(jiān)督信號(hào)的結(jié)點(diǎn)參與loss的計(jì)算，迭代的依次得loss對(duì)關(guān)于隱狀態(tài)的$h_v^0,h_v^1,...,h_v^T$的梯度，用于更新模型參數(shù)(f,g的權(quán)重吧)(具體操作還是跑代碼能明白的清楚些) AP 算法。

3.圖神經(jīng)網(wǎng)絡(luò)–理論基礎(chǔ)

Franco博士圖神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)是不動(dòng)點(diǎn)理論，專指巴拿赫不動(dòng)點(diǎn)定理。只要狀態(tài)更新函數(shù)f是一個(gè)壓縮映射，每個(gè)結(jié)點(diǎn)的任意初始化的隱狀態(tài)都能夠收斂至一個(gè)固定點(diǎn)的，即不動(dòng)點(diǎn)。（如何保證這個(gè)不動(dòng)點(diǎn)就是我們想要的點(diǎn)呢）

壓縮映射：對(duì)于原空間中的任意兩個(gè)點(diǎn)$x,y$，經(jīng)過f映射后分別變成$f(x),f(y)$。如果滿足$d(f(x),f(y))\le cd(x,y),0\le c\le 1$，那么f即構(gòu)成一個(gè)壓縮映射。
即經(jīng)f變換后的新空間比原空間要小，原空間被壓縮了。不斷進(jìn)行壓縮操作，最終就會(huì)把原空間中的所有點(diǎn)映射到一個(gè)點(diǎn)上。（壓縮軌跡應(yīng)該不私想象中那么平滑）

保證神經(jīng)網(wǎng)絡(luò)是一個(gè)壓縮映射：限制f對(duì)h偏導(dǎo)數(shù)矩陣的大小，采用雅可比矩陣懲罰項(xiàng)的實(shí)現(xiàn)。

4.圖神經(jīng)網(wǎng)絡(luò)的局限

（本階段圖神經(jīng)網(wǎng)絡(luò)的局限性）

邊的特性無法學(xué)習(xí)

基于不動(dòng)點(diǎn)的收斂會(huì)導(dǎo)致結(jié)點(diǎn)之間的隱藏狀態(tài)存在較多的信息共享，從而導(dǎo)致狀態(tài)太過于光滑，并且屬于結(jié)點(diǎn)自身的信息匱乏。

5.GNN,RNN,GGNN

GNN隱狀態(tài)的時(shí)序迭代更新方式與RNN非常類似，兩者的區(qū)別：

GNN依據(jù)不動(dòng)點(diǎn)理論，沿時(shí)間展開長度是動(dòng)態(tài)的，RNN沿時(shí)間展開的長度就是序列本身的長度。

GNN用AP算法反向傳播，RNN用BPTT優(yōu)化

GGNN：可學(xué)習(xí)的邊權(quán)，不依賴于不動(dòng)點(diǎn)定理，使用GRU更新法則，狀態(tài)更新若干步，利用BPTT算法反向傳播得到邊權(quán)和GRU的參數(shù)。

6.小結(jié)

之后會(huì)介紹圖卷積神經(jīng)網(wǎng)絡(luò)，拜托了基于循環(huán)的方法，開始走向多層神經(jīng)網(wǎng)絡(luò)。

[1]. The graph neural network model, https://persagen.com/files/misc/scarselli2009graph.pdf
[2]. Spectral networks and locally connected networks on graphs, https://arxiv.org/abs/1312.6203

總結(jié)

以上是生活随笔為你收集整理的PaperNotes(16)-图神经网络GNN简史、不动点建模-笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。