文章目錄

• • • 圖自動編碼器(GAE)
    • 圖遞歸神經網絡（Graph RNN）和圖強化學習(Graph RL)
    • • • 遞歸神經網絡(RNN)
        • Relational recurrent neural networks（關系性循環神經網絡）
        • Relational Deep Reinforcement Learning（關系性深度強化學習）

圖自動編碼器(GAE)

自編碼器(AE)和變分自編碼器(VAE)廣泛應用于無監督學習中，它們適用于學習無監督信息的圖節點表示。下表總結了本文所研究的GAE主要特征：
不同GAE之間的比較

可以看到，在本文所研究的10種GAE方法中，7種屬于自編碼器(AE)、3種屬于變分自編碼器(VAE)。

每種方法采用的降維方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、遞歸Reconstruction、排序、GAN等等。

在可擴展性、節點特征以及其它改進方面也各不相同。除了上述兩個主要分類外，也有一些進展值得討論。
首先是對抗性訓練方案，尤其是生成對抗網絡(GAN)，這是最近機器學習領域的一個熱門話題。
GAN的基本思想是構建兩個相關聯的模型，一個判別器和一個生成器。生成器的目的是通過產生假數據來“欺騙”判別器，判別器的目的是區分樣本是真實數據還是由生成器產生的假數據。然后，兩個模型可以通過極大極小博弈進行聯合訓練，從而相互受益。

S. Pan等人 [83]將對抗訓練方案作為一個額外的正則化項納入GAE。整個架構如圖9所示。具體來說，編碼器用作生成器，判別器的目的是區分潛在表示是來自生成器還是來自先驗分布。這樣，自動編碼器就被強制匹配先驗分布以作為正則化。

除了前面提到的半監督方法和無監督方法之外，我們在這一節中還討論了一些最新的高級方法。它們的主要特性如表所示。

圖遞歸神經網絡（Graph RNN）和圖強化學習(Graph RL)

遞歸神經網絡(RNN)

例如GRU或LSTM是建模序列數據的一個實際標準，在GNN中用于模擬節點狀態。
You et al. [94]將Graph RNN應用于圖生成問題。具體來說，他們采用兩個RNN，一個用于生成新的節點，另一個用于以自回歸的方式為新添加的節點生成邊。結果表明，與傳統的基于規則的圖生成模型相比，這種分層RNN結構在具有可接受的時間復雜度的同時，能夠有效地從輸入圖中學習。

動態圖神經網絡(Dynamic Graph Neural Network, DGNN)[95]提出利用 time-aware LSTM[100]來學習動態圖中的節點表示。作者表明， time-aware LSTM可以很好地建模邊形成的順序和時間間隔，從而有利于圖的廣泛應用。

也可以將Graph RNN與其他架構(如GCN或GAE)結合使用。例如RMGCNN[96]將LSTM應用于GCN的結果，逐步重構圖，如圖10所示，旨在解決圖的稀疏性問題。Dynamic GCN[97]應用LSTM在動態網絡中收集不同時間片段的GCN結果，目的是獲取空間和時間圖信息。

Relational recurrent neural networks（關系性循環神經網絡）

DeepMind和倫敦大學學院的這篇論文提出關系推理模塊RMC，能夠在序列信息中執行關系推理，在WikiText-103, Project Gutenberg 和 GigaWord 數據集上達到了當前最佳性能。

基于記憶的神經網絡通過利用長時間記憶信息的能力來建模時序數據。然而，目前還不清楚它們是否有能力利用它們記得的信息進行復雜的關系推理。
在這篇論文中，DeepMind和倫敦大學學院的研究人員首先證實一種直覺想法，即標準的記憶架構在一些涉及關系推理的任務上很困難。然后，研究者通過使用一個新的記憶模塊——Relational Memory Core（RMC）——來改進這種缺陷，該模塊采用multi-head dot product attention來允許記憶交互。
最后，研究者在一系列任務上測試RMC，這些任務可以從跨序列信息的更強大的關系推理中獲益，并且在RL領域（例如Mini PacMan）、程序評估和語言建模中顯示出巨大的受益，在WikiText-103、Project Gutenberg和GigaWord數據集上獲得state-of-the-art的結果。
論文地址：https://arxiv.org/abs/1806.01822

Relational Deep Reinforcement Learning（關系性深度強化學習）

近日，DeepMind 提出了一種「關系性深度強化學習」方法，并在星際爭霸 2 中進行了測試，取得了最優水平。
論文鏈接：https://arxiv.org/abs/1806.01830

深度強化學習方法，它可以通過結構化感知和關系推理提高常規方法的效率、泛化能力和可解釋性。該方法使用自注意力來迭代地推理場景中實體之間的關系并指導 model-free 策略。實驗結果表明，在一項名為「方塊世界」的導航、規劃新任務中，智能體找到了可解釋的解決方案，并且在樣本復雜性、泛化至比訓練期間更復雜場景的能力方面提高了基線水平。在星際爭霸 II 學習環境中，智能體在六個小游戲中達到了當前最優水平——在四個游戲中的表現超越了大師級人類玩家。通過考慮架構化歸納偏置，我們的研究為解決深度強化學習中的重要、棘手的問題開辟了新的方向。
你可以參考：https://yobibyte.github.io/files/paper_notes/rdrl.pdf

圖卷積網絡：http://tkipf.github.io/graph-convolutional-networks/
關系RNN：https://arxiv.org/pdf/1806.01822v1.pdf
關系深度強化學習：https://arxiv.org/abs/1806.01830
關系歸納偏置：https://arxiv.org/pdf/1806.01203.pdf

總結

以上是生活随笔為你收集整理的GAE—图自编码器/Graph RNN/Graph RL的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。