圖神經(jīng)網(wǎng)絡(luò)（二）GCN的性質(zhì)（3）GCN是一個(gè)低通濾波器

?在圖的半監(jiān)督學(xué)習(xí)任務(wù)中，通常會(huì)在相應(yīng)的損失函數(shù)里面增加一個(gè)正則項(xiàng)，該正則項(xiàng)需要保證相鄰節(jié)點(diǎn)之間的類(lèi)別信息趨于一致，一般情況下，我們選用拉普拉斯矩陣的二次型作為正則約束：
$$L=L_0+L_{\text{reg}},L_{\text{reg}}=\sum _{e_{ij}\in E}{A}_{ij}\Vert f(x_i)?f(x_j){\Vert }^2=f(X{)}^{\text{T}}Lf(x)$$
?其中$L$表示模型的總損失，$L_0$表示監(jiān)督損失，$L_{\text{reg}}$表示正則項(xiàng)，從學(xué)習(xí)的目標(biāo)來(lái)看，這樣的正則項(xiàng)使得相鄰節(jié)點(diǎn)的分類(lèi)標(biāo)簽盡量一致，這種物以類(lèi)聚的先驗(yàn)知識(shí)，可以指導(dǎo)我們更加高效地對(duì)未標(biāo)記的數(shù)據(jù)進(jìn)行學(xué)習(xí)。從圖信號(hào)的角度來(lái)看，我們知道該正則項(xiàng)也表示圖信號(hào)的總變差，減小該項(xiàng)表示我們期望經(jīng)過(guò)模型之后的圖信號(hào)更加平滑，根據(jù)前面所學(xué)的知識(shí)，從頻域上來(lái)看，相當(dāng)于對(duì)圖信號(hào)做了低通濾波的處理[6]。

?在GCN的損失函數(shù)中，我們通常并不會(huì)設(shè)計(jì)這樣的正則項(xiàng)。但是有研究表明，論文[4]中將GCN視為一種低通濾波器，下面闡述具體的過(guò)程：

?回到GCN的核心計(jì)算式${\tilde{L}}_{\text{sym}}XW$上，體現(xiàn)圖濾波的方法就在于左乘了一個(gè)重歸一化形式的拉普拉斯矩陣${\tilde{L}}_{\text{sym}}XW$，根據(jù)上一章的相關(guān)內(nèi)容可知，要確定是否為低通濾波，我們就必須去研究${\tilde{L}}_{\text{sym}}XW$對(duì)應(yīng)的頻率響應(yīng)函數(shù)$p(\lambda )$的性質(zhì)。
$$\begin{array}{rl}{\tilde{L}}_{\text{sym}}& ={\tilde{D}}^{?1/2}\tilde{A}{\tilde{D}}^{?1/2}\\ & ={\tilde{D}}^{?1/2}(\tilde{D}?L){\tilde{D}}^{?1/2}\\ & =I?{\tilde{D}}^{?1/2}L{\tilde{D}}^{?1/2}\\ & =I?{\tilde{L}}_s\end{array}$$
?由于${\tilde{L}}_s$可以被正交對(duì)角化，我們?cè)O(shè)${\tilde{L}}_s=V\tilde{\Lambda }{V}^{\text{T}}$，${\tilde{\lambda }}_i$是${\tilde{L}}_s$的特征值，可以證明${\tilde{\lambda }}_i\in [0,2)$[5]。

?因此上式變?yōu)?#xff1a;
$${\tilde{L}}_{\text{sym}}=I?V\tilde{\Lambda }{V}^T=V(1?\tilde{\Lambda })V^{\text{T}}$$
?顯然，其頻率響應(yīng)函數(shù)為$p(\lambda )=1?{\tilde{\lambda }}_i\in [?1,1)$，該函數(shù)是一個(gè)線(xiàn)性收縮的函數(shù)，因此能起到對(duì)圖信號(hào)進(jìn)行低通濾波的作用。

?如果將信號(hào)矩陣$X$不斷左乘$K$次${\tilde{L}}_{\text{sym}}$，則對(duì)應(yīng)頻率響應(yīng)函數(shù)為$(1?{\tilde{\lambda }}_i{)}^K$，圖2-9所示為該函數(shù)的圖像：

圖2-9 響應(yīng)函數(shù)圖像

?從圖中可以看到，隨著$K$的增大，頻率響應(yīng)函數(shù)在低頻段上有著更強(qiáng)的縮放效果，因此是一種更強(qiáng)效應(yīng)的低通濾波器。這種堆疊式的濾波操作，在一定程度上解釋了多層GCN模型對(duì)于信號(hào)的平滑能力。事實(shí)上，為了更好地突出這種能力、較少模型的參數(shù)量，在論文[1] [2] [6]中直接將多層GCN退化成 $\sigma ({\tilde{L}}_{\text{sym}}^{K}XW)$。

?為什么要突出對(duì)數(shù)據(jù)的低通濾波呢？或者說(shuō)，多層GCN的這種濾波效果對(duì)于圖數(shù)據(jù)的任務(wù)學(xué)習(xí)會(huì)更加高效嗎？在論文[3]中，作者論證了一個(gè)關(guān)于圖數(shù)據(jù)的假設(shè)——輸入數(shù)據(jù)的特征信號(hào)包括低頻信號(hào)與高頻信號(hào)，低頻信號(hào)包含著對(duì)任務(wù)學(xué)習(xí)更加有效的信息。

?為此，作者Cora、Citeseer、Pubmed數(shù)據(jù)集上做了實(shí)驗(yàn)，這3個(gè)數(shù)據(jù)集都是論文引用網(wǎng)絡(luò)。節(jié)點(diǎn)是論文，邊是論文之間的引用關(guān)系。作者設(shè)計(jì)了一個(gè)實(shí)驗(yàn)，通過(guò)低通濾波截掉數(shù)據(jù)中的高頻信息，然后使用剩下的低頻信息進(jìn)行分類(lèi)學(xué)習(xí)，具體過(guò)程如下：

?（1）對(duì)數(shù)據(jù)集的${\tilde{L}}_s$進(jìn)行正交對(duì)角化，得到傅里葉基$V$。

?（2）對(duì)輸入的信號(hào)矩陣增加高斯噪聲$X\leftarrow X+N(0,{\sigma }^2)$，其中$\sigma (0,0.01,0.05)$。

?（3）計(jì)算輸入的信號(hào)矩陣在前k個(gè)最小頻率上的傅里葉變換系數(shù)${\tilde{X}}_k=V[:,:k{]}^{\text{T}}{\tilde{D}}^{?1/2}X$。

?（4）利用逆傅里葉變換重構(gòu)信號(hào)$X_k={\tilde{D}}^{?1/2}V[:,:k]{\tilde{X}}_k$。

?（5）將重構(gòu)后的信號(hào)送到一個(gè)兩層的MLP網(wǎng)絡(luò)進(jìn)行分類(lèi)學(xué)習(xí)，并記錄準(zhǔn)確率。

?圖2-10所示為重構(gòu)信號(hào)用的頻率分量的比例（前$k$個(gè)最小頻率占總頻率數(shù)的比例）與分類(lèi)準(zhǔn)確率之間的關(guān)系圖。作為對(duì)比實(shí)驗(yàn)，使用完整的原始信號(hào)矩陣在gfNN模型（論文[4]中的一種GCN的變體模型）與雙層MLP上的分類(lèi)準(zhǔn)確率（3組圖中的上部gfNN與中部MLP水平虛線(xiàn)）來(lái)進(jìn)行對(duì)比。從該圖中可以看出，在3個(gè)數(shù)據(jù)集上，最高的分類(lèi)準(zhǔn)確率集中在僅用最小的前20%的頻段恢復(fù)信號(hào)的實(shí)驗(yàn)中，增加高頻信息參與信號(hào)重構(gòu)，模型的分類(lèi)效果會(huì)下降。同時(shí)，增加高斯噪聲會(huì)造成分類(lèi)準(zhǔn)確率下降，這種效應(yīng)隨著重構(gòu)所用的頻率分量的比例的增加而增強(qiáng)，這說(shuō)明了使用低通濾波對(duì)數(shù)據(jù)進(jìn)行去噪的有效性。作為對(duì)比實(shí)驗(yàn)，我們可以看到，即使在原始的輸入數(shù)據(jù)上，gfNN也能取得所有實(shí)驗(yàn)中的最好效果，這說(shuō)明gfNN本身就具有低通濾波的作用。

圖2-10 實(shí)驗(yàn)結(jié)果[5]

?從本節(jié)的介紹中可以看到，從頻域去理解圖數(shù)據(jù)以及GCN都具有十分重要的價(jià)值。對(duì)數(shù)據(jù)有效頻率成分的分析可以指導(dǎo)我們發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在規(guī)律，從而更好地設(shè)計(jì)符合特定需求的濾波器，讓GCN對(duì)于任務(wù)的高效學(xué)習(xí)做到有的放矢。

參考文獻(xiàn)

[1] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[2] Wu F ， Zhang T ， Souza Jr A H ， et al.Simplifying graph convolutional networks[J].arXiv preprint arXiv ： 1902.07153 ， 2019.

[3] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[4] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[5] Maehara T.Revisiting Graph Neural Networks ： All We Have is Low-Pass Filters[J].arXiv preprint arXiv ： 1905.09550 ， 2019.

[6] 劉忠雨, 李彥霖, 周洋.《深入淺出圖神經(jīng)網(wǎng)絡(luò): GNN原理解析》.機(jī)械工業(yè)出版社.

總結(jié)

以上是生活随笔為你收集整理的图神经网络（二）GCN的性质（3）GCN是一个低通滤波器的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。