圖卷積模型在每個全連接網絡層的結果中加入了樣本間的特征計算。其述質是依賴深度學特征與缺陷。

1.1 全連接網絡的特征與缺陷

多層全連接神經網絡被稱為萬能的擬合神經網絡。先在單個網絡層中用多個神經元節點實現低維的數據擬合，再通過多層疊加的方式對低維擬合能力進行綜合，從而在理論上實現對任意數據的特征擬合。

圖10-12左側的兩幅圖表示前一層的兩個神經元節點將數據在各自的直角坐標系中分成了兩類。

圖10-12中右側的圖表示后一層神經元將前一層的兩個神經元結果融合到一起，實現最終的分類結果。

1.1.1 缺陷①：容易過擬合

從理論上來講，如果全連接神經網絡的層數和節點足夠多，那么可以對任意數據進行擬合。然而，這一問題又會帶來模型的過擬合問題。全連接神經網絡不但會對正常的數據進行擬合，而且會對訓練中的批次、樣本中的噪聲、樣本中的非主要特征屬性等進行擬合。這會使模型僅能使用在訓練數據集上，無法用在類似于訓練數據集的其他數據集上。

1.1.2 缺陷②：模型過大且不容易訓練

目前，訓練模型的主要方法都是反向鏈式求導，這使得全連接神經網絡一旦擁有過多層數，就很難訓練出來（一般只能支持6層以內)。即使使用BN分布式逐層訓練等方式保證了多層訓練的可行性，也無法承受模型中過多的參數帶來的計算壓力和對模型運行時的算力需求。

1.2 圖卷積模型的缺陷（依賴于全連接網絡的圖模型的通病）

圖卷積只是按照具有頂點關系信息的卷積核在每層的全連接網絡上額外做一次過濾。

因為在圖卷積模型中，也使用反向鏈式求導的方式進行訓練，對圖卷積模型深度的支持一般也只能到6層。

圖卷積模型在層數受限的同時，也會存在參數過多且容易過擬合的問題。該問題也存在于GAT模型中。

1.3?彌補圖卷積模型缺陷的方法（與全連接網絡相同）

1.3.1?圖卷積模型的層數受限

使用BN、分布式逐層訓練等方法

1.3.2 圖卷積模型容易出現過擬合

可以使用Dropout、正則化等方法，BN也有提高泛化能力的功能。

1.3.3?參數過多

使用卷積操作代替全連接的特征計算部分，使用參數共享來減小權重。

1.3.4 使用更好的模型

在圖神經網絡領域，還有一些更好的模型（例如SGC、GfNN和DGl等模型)。它們利用圖的特性，從結構上對圖卷積模型進行了進一步的優化，在修復圖卷積模型原有缺陷的同時，又表現出了更好的性能。

1.4 從圖結構角度理解圖卷積原理及缺陷

圖卷積模型的缺陷，其思路是將圖結構數據當作矩陣數據，在規整的矩陣數據基礎之上融合深度學習的計算方法。

在DGL庫中實現的圖卷積方法是基于圖結構（空間域）的方式進行處理的。從效率角度來看，這樣做有更大的優勢，也更符合圖計算的特點。

從基于圖頂點傳播的角度來看，圖神經網絡的過程可以理解為：基于頂點的局部鄰居信息對頂點進行特征聚合，即將每個頂點及其周圍頂點的信息聚合到一起以覆蓋原頂點。

1.4.1 圖神經網絡的計算過程

如下圖所示，描述目標頂點A在圖神經網絡中的計算過程：對于每一次計算，目標頂點A都對周圍頂點特征執行一次聚合操作（任意深度）。

?1.4.2?圖卷積神經網絡無法搭建過多層的原因

圖卷積神經網絡可以理解為每次執行聚合操作時都要對特征進行一次全連接的變換，并對聚合后的結果取平均值。層數過深會導致每個頂點對周圍鄰居的聚合次數過多。這種做法會導致所有頂點的值越來越相似，最終會收斂到同一個值，無法區分每個頂點的個性特征。

1.4.3 圖注意力機制也存在無法搭建過多層的情況

圖注意力機制中與圖卷積的結構幾乎一致，只不過是在頂點聚合的過程中對鄰居頂點加入了一個權重比例。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的【Pytorch神经网络理论篇】 29 图卷积模型的缺陷+弥补方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。