鏈接： https://arxiv.org/abs/1711.04043

本文提出了用 GNN(GraphNeural Network) 來解決 Few-Shot Learning 場景的分類問題。在 Few-Shot Learning 中，每個類別的訓(xùn)練樣本數(shù)據(jù)較少，如果直接訓(xùn)練一個多分類模型，會由于每個類別的樣本較少而無法訓(xùn)練充分。而 GNN 的一個優(yōu)點在于可以通過節(jié)點之間的連接來做信息擴(kuò)散，如果把每個樣本視作圖中一個節(jié)點，節(jié)點之間的邊是它們的某種距離度量，那么，就可以把已有l(wèi)abel的樣本的 label 信息根據(jù)節(jié)點之間相似性的強弱，有選擇的擴(kuò)散到與之最相似的，需要預(yù)測的樣本上。這樣，新樣本在預(yù)測的時候，可以利用到各個類別的標(biāo)注數(shù)據(jù)，類似于遷移學(xué)習(xí)，從而緩解了 Few-Shot Learning 中每個類別訓(xùn)練樣本較少的問題。

基于以上思路，本文利用 GNN 在小樣本 Few-Shot Learning 數(shù)據(jù)集上，對 Few-Shot Learning, Semi-supervised Learning 以及 Active Learning 三個任務(wù)都做了實驗，驗證了GNN利用信息傳播做預(yù)測的有效性。

?

模型的基本結(jié)構(gòu)是常見的 GNN，流程如下：

（1）?????初始化：將每個樣本視作圖中的節(jié)點，隨機初始化每個節(jié)點的表示。初始化方式為：利用CNN得到的圖片（實驗數(shù)據(jù)集是圖片分類）的向量表示，以及樣本的label的onehot表示，拼接得到。對于半監(jiān)督的情形，未標(biāo)注樣本的label的onehot表示是隨機生成的。

（2）?????信息傳播：計算節(jié)點之間的相似性，得到節(jié)點兩兩之間的相似性矩陣。然后以每個節(jié)點的鄰居節(jié)點的表示和自己當(dāng)前的表示來更新下一步的表示，即：自己的表示+ sum(相似性 * 鄰居節(jié)點的表示)，是一個常用的加權(quán)平均更新方式

（3）?????對于需要預(yù)測label的節(jié)點，利用其最終的表示，通過softmax做分類。

?

實驗結(jié)果：

相比已有的一些利用樣本間相似性做 Few-Shot Learning 的模型，如 Siamese Net, Matching Network,Prototypical Network，都有提升。另外，論文中證明了后續(xù)這三種模型都是 GNN 模型的特例。

（1）?????Few-Shot Learning：

（2）?????Semi-supervised Learning:

(3) Active Learning:

本文作者: 王梁，浙江大學(xué)碩士，研究方向為知識圖譜，自然語言處理.

---

OpenKG.CN

中文開放知識圖譜（簡稱OpenKG.CN）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

轉(zhuǎn)載須知：轉(zhuǎn)載需注明來源“OpenKG.CN”、作者及原文鏈接。如需修改標(biāo)題，請注明原標(biāo)題。

?

點擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 用图网络做小样本学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。