浅谈零样本网络表示学习
?PaperWeekly 原創 ·?作者｜汪佳龍
學校｜澳門大學博士生
研究方向｜圖神經網絡
什么是零樣本網絡表示學習
這個問題主要來自兩篇論文 AAAI 2018 和 TKDE 2020，在正式開始介紹零樣本網絡表示學習（Zero-shot Graph Embedding, ZsGE）之前，我們首先介紹一下什么是零樣本學習。
論文標題：RSDNE: Exploring Relaxed Similarity and Dissimilarity from Completely-imbalanced Labels for Network Embedding
論文來源：AAAI 2018
論文鏈接：https://www.paperweekly.site/papers/3566
代碼鏈接：https://github.com/zhengwang100/RSDNE
論文標題：Network Embedding with Completely-imbalanced Labels
論文來源：TKDE 2020?
論文鏈接：https://www.paperweekly.site/papers/3567
代碼鏈接：https://github.com/zhengwang100/RECT
假設這樣一個場景，現在我們有了一個訓練用的數據集，里面有 A、B、C 三類樣本，可是在測試的時卻需要我們去識別 D 和 E 兩種未見過的類的樣本。這就是零樣本學習 Zero Shot Learning (ZSL) 所需要解決的問題。
而在之前的研究中，ZSL 的研究主要局限于計算機視覺領域，也是 CV 領域非常熱門的一個研究方向。這是由于自然界包含太多物品和場景了，我們需要 AI 系統有強大的泛化能力，即能夠識別那些未見到的類（unseen class）。
在網絡表示學習中，同樣存在著類似情況。由于網絡的復雜性，標注樣本很可能無法涵蓋所有的節點類別，甚至我們根本不知道網絡中有多少類別。本文將介紹如何在網絡中利用 ZSL的思維來學習到 unseen 類別節點的網絡表示。
1.1 問題定義
如上圖所示，零樣本網絡表示學習（Zero-shot Graph Embedding，ZsGE）是指標注樣本無法覆蓋所有類別時的網絡節點特征學習問題。這里，“zero-shot”強調所設計的算法應該能夠處理那些來自不可見類的節點，這種場景也可以被稱為完全非平衡標注場景。
這個問題非常具有實際意義，特別是當圖很大且節點的類別很多的場景。比如在真實社交網絡中，用戶的類別可能很多，我們也很難找出每一類用戶，甚至我們根本就不知道網絡中到底有多少種用戶。
1.2 現有方法無法處理ZsGE
論文 TKDE 2020 測試了兩個經典的監督網絡表示學習算法：LSHM 和 GCN。為了模擬圖上的零樣本場景（ZsGE），在每次測試中，都從訓練數據中移除 1-2 個類，然后進行網絡表示學習，可以發現這兩個方法的分類精度下降的很快 [10%-35%]。為什么會發生這個情況呢？論文是這樣解釋的：
簡單來說，由于網絡中 unseen 和 seen 類別的節點是相關連的，只在 seen 類別的節點上訓練一個分類模型，只能得到一個全局的次優解。由此可以得到結論，傳統的監督網絡表示學習方法在處理未知樣本時性能表現較差。
解決方案
2.1 RSDNE淺層算法
首先，AAAI 2018 給出了一個淺層方法 RSDNE。如上圖所示，其思想是放松類內相似性（intra-class similarity）和類間差異性（inter-class dissimilarity）的約束。
具體的，對于類內相似性，在嵌入的空間中，該方法只需保證同一類的節點處于同一個流形上，即每個標注節點只需和 k（比如 k=5）個相同標注的節點相近，而不需要和所有相同標注的節點都相近。
對于類間差異性，在嵌入的空間中，此方法不要求不同標注的節點之間的距離非常大，只希望他們離得別太近即可。其公式包含三個部分：
1）保持原有網絡結構信息：
公式 (4) 就是 DeepWalk 的矩陣分解形式，其中 U 就是我們最終要求的網絡表示（Graph Embedding），H 為上下文表示（context embedding），M 的具體定義為：
2）relaxed 類內相似性
公式 (5) 是對類內關系 (intra-class) 進行建模，保證屬于同一類的樣本之間在同一個“流形”上的相似性。這里矩陣 S 描述了這種類內相似性，u_{i} 是 U 矩陣中的值，代表第 i 個節點的特征。
3）relaxed 類間差異性
公式 (6) 是對類間關系 (inter-class) 進行建模，保證屬于不同類別的樣本之間的區別性。這里 W 的定義非常簡單：只是把原有描述網絡結構的 M 中標簽不同的節點的權重置零。
此外，AAAI 2018 也給出了一個 light 版本，把公式 (5) 的 S 矩陣的構造簡單化了，比如在其提供的 python 版本的源代碼中，直接事先預構造一個近鄰矩陣 S 來表示同一類的流形結構。
此文給出的方法是一個基于矩陣分解的方法，不過類似的思想很容易擴展到 DeepWalk 這種非矩陣算法上，比如用少量單位長度的相同標簽的 path 來近似描述內類相似性；將連續包含不同標簽節點的 path 從不同標簽處斷開從而近似保持類間差異性。
2.2 RECT深層算法
其次，TKDE 2020 的工作給出了一個深度的方法 RECT。該方法可以進一步的處理帶屬性的圖和多標簽場景。如上圖所示，RECT 算法的核心是訓練一個語義圖神經網絡（Semantic GNN）。
具體的，受 ZSL 的啟發，該方法將原始的二值標簽映射到語義空間來訓練一個 GNN 模型。值得注意的是，與 CV 中的 ZSL 方法不同，這里的類別語義直接從原始圖中得到，即不依賴于任何的人工標注或者第三方語言工具。
具體來說，該方法首先使用 GNN layer 進行圖卷積和 MLP 進行映射，之后最后定義了兩個 Loss Function：
1）語義空間描述損失：
公式 (17) 希望預測得到的語義向量與樣本真實的語義向量盡量的相似。這里真實語義是通過一個 readout 函數得到的：。在實驗中，這個 readout 函數被簡化成了 mean 函數，非常容易計算。
2）網絡結構保持損失：
公式 (18) 希望得到的網絡表示能夠保持原有的網絡結構。這是個無監督的模型，這里 M 是上面提到的 DeepWalk 的矩陣形式，U 是我們最終要求的網絡表示。
實驗結果
TKDE 2020 的論文一共在五個數據集上做了實驗，包含不帶屬性，帶屬性，單標簽，多標簽的網絡。
3.1 零樣本場景下的實驗結果
▲ 零樣本下的節點分類
可以看到在該場景下，RSDNE 的方法要優于那些淺層的有監督方法。同時 RECT 方法效果最好，要明顯優于那些深層的監督 GNN 方法，相比? GCN 精度提升 [30%-300%]。
▲ 零樣本下的可視化（前兩個類作為 unseen，50%label rate）
從圖中可以看到傳統的監督算法（LSHM和GCN）的 seen ?類分的比較開，但是 unseen 類完全的雜糅在了一起。相對應的，RSDNE 的效果就好很多，并且呈現出一種“流形”的感覺。此外，RECT 的效果最好，是因為考慮了節點的屬性信息。
3.2 平衡場景下的實驗結果
這里平衡場景是指傳統的有監督的方法所要求的標注數據覆蓋所有網絡節點類別。
從結果上來看，當標簽能夠覆蓋所有類時，RSDNE/RECT 方法也和當下最好的淺/深層方法效果持平。甚至 RECT 仍然優于著名的 GCN 算法 30%~300%。這意味著 ZsGE 的方法有很好的魯棒性和普適性。
論文是這樣解釋的，GCN 和 APPNP 這些使用分類模型的有監督方法很容易被真實場景中標簽數據的非平衡所影響；然而 RECT 這類語義方法則不會，這是由于在語義空間的各個維度上各種類別的分布是大致平衡的。
直觀可以這樣理解，比如可能身高超過 2m 的人很少，不過所有人在“身高”這個語義維度上都有定義。
思考
零樣本學習作為遷移學習的一個新興研究方向，在傳統 CV 領域已經嶄露頭角，但如何將這種“零樣本”思想轉換到網絡表示學習中，還處于初始探究的狀態。
由于網絡表示學習處理的目標是圖結構數據，這又與傳統 CV 存在很大的差別，相關理論還不完整，這給我們的研究帶來了非常多的有趣的挑戰。
參考文獻
[1] RSDNE: Exploring Relaxed Similarity and Dissimilarity from Completely-imbalanced Labels for Network Embedding. (AAAI 2018).
[2] Network Embedding with Completely-imbalanced Labels. (TKDE 2020).
[3] 項目及代碼: https://zhengwang100.github.io/project/zero_shot_graph_embedding.html
點擊以下標題查看更多往期內容：?
變分推斷（Variational Inference）最新進展簡述
變分自編碼器VAE：原來是這么一回事
圖神經網絡三劍客：GCN、GAT與GraphSAGE
如何快速理解馬爾科夫鏈蒙特卡洛法？
深度學習預訓練模型可解釋性概覽
視線估計（Gaze Estimation）簡介概述
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志
???? 投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發送?
? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通
????
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的浅谈零样本网络表示学习的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 三星打造最薄最轻的 Chromebook
- 下一篇： 联想 ThinkBook 16+ 202