孿生網絡專題

孿生神經網絡（Siamese Network）

可以解決的問題？

• 孿生神經網絡可解決以下兩種分類問題：
  • 第一類，分類數量較少，每一類的數據量較多，比如ImageNet、VOC等。這種分類問題可以使用神經網絡或者SVM解決，只要事先知道了所有的類。
  • 第二類，分類數量較多（或者說無法確認具體數量），每一類的數據量較少，比如人臉識別、人臉驗證任務。

何為“孿生”？

• Siamese：”連體“，”孿生“，來源于泰國（暹羅）的連體雙胞胎（Siamese Twins）

• Siamese Network 具有兩個結構相同，且權值共享的子網絡。分別接收兩個輸入 $X_1$ 與 $X_2$ ，將其轉換為向量 $G_W(X_1)$ 與 $G_W(X_2)$ ，再通過某種距離度量的方式計算兩個輸出向量的距離$E_W$。

  在低維空間，任意兩個樣本：

  • 如果它們是相同類別，空間距離盡量接近0
  • 如果它們是不同類別，空間距離大于某個間隔

• 訓練樣本：

  訓練樣本的形式應該表示成為一個三元組，即 $tuple(X_1,X_2,Y)$ 將其轉化為向量 $G_W(X_1)$ 和 $G_W(X_2)$，再通過某種距離度量的方式計算出兩個輸出向量的距離$E_W$。

• 孿生方法：

  尋找一個映射函數，能夠將輸入圖像轉換到一個特征空間，每個語句對應一個特征向量，通過一些簡單的“距離度量”（比如歐式距離）來表示向量之間的差異，最后通過這個距離來擬合輸入圖像的相似度差異（語義差異）。

采用什么方法解決？

• Siamese Network 思路：

  孿生神經網絡提出了一種思路，將輸入映射成以惡特征向量，采用L1正則化指標衡量兩個向量之間的距離，定量表示輸入向量之間的差異。孿生神經網絡每次需要輸入兩個樣本作為一個樣本對來計算損失函數，提出了用于訓練的Contrastive Loss用于孿生神經網絡的訓練。

孿生神經網絡結構

Siamese Network 結構：—— 類似于差分放大器

評價指標 之 損失函數

LOSS函數設計的基本準則應該是

$$\begin{array}{rl}\mathcal{L}(W)& =\sum _{i=1}^{P}L\left(W,{\left(Y,X_1,X_2\right)}^i\right)\\ L\left(W,{\left(Y,X_1,X_2\right)}^i\right)& =(1?Y)L_G\left(E_W{\left(X_1,X_2\right)}^i\right)+Y{L}_I\left(E_W{\left(X_1,X_2\right)}^i\right)\end{array}$$
其中，數學符號表示

• $Y$ 表示 $X_1,X_2$ 是否屬于同一類:
  • 若為同類，則為0;
  • 若為不同類，則為1。
• $P$ 表示輸入的總樣本數， $i$ 表示當前樣本的下標。
• $L_G$ 表示兩個樣本為同類時的損失函數, $L_I$ 表示兩個樣本未不同類時的損失函數。
• 使用Contrastive Loss的任務主要是設計合適的 $L_G$ 和 $L_I$ 損失函數, 當為同類時，使得 $L_G$ 盡可能 小; 當不同類時，使得 $L_I$ 盡可能大。文中給出的函數如下圖, 現在也不常用了，推導步驟略。

在Caffe框架下，損失函數定義為
$$L=\frac{1}{2N}\sum _{n=1}^{N}y{D}_W^2+(1?y)\max (\mathrm{margin}?D_W,0{)}^2$$

其中，
$$D_W\left(X_1,X_2\right)={\Vert X_1?X_2\Vert }_2={\left(\sum _{i=1}^P{\left(X_1^i?X_2^i\right)}^2\right)}^{\frac{1}{2}}$$

• $D_W$ 代表兩個樣本特征 $X_1$ 和 $X_2$ 的歐式距離（向量差的二范數）

• $P$ 表示樣本的特征維數

• $Y$ 為兩個樣本是否匹配的標簽

  • $Y=1$ 代表兩個樣本相似或者匹配
  • $Y=0$ 代表兩個樣本不匹配

• $margin$ 為設定的閾值，也可以成為邊際價值。有一個邊際價值表示超出該邊際價值的不同對不會造成損失。這是有道理的，因為你只希望基于實際不相似對來優化網絡，但網絡認為是相當相似的。

  • 當 $Y=1$ 時，如果 $X_1$ 與 $X_2$ 之間距離大于 $m$，則不做優化——省時省力
  • 當 $Y=0$ 時，如果 $X_1$ 與 $X_2$ 之間的距離小于 $m$，則調整參數使其距離增大到 $m$

• $N$ 為樣本個數

詳談損失函數

• 損失函數還有更多的選擇

  Siamese network的初衷是計算兩個輸入的相似度,。左右兩個神經網絡分別將輸入轉換成一個"向量"，在新的空間中，通過判斷cosine距離就能得到相似度了。cosine是一個選擇，exp function也是一種選擇，歐式距離什么的都可以，訓練的目標是讓兩個相似的輸入距離盡可能的小，兩個不同類別的輸入距離盡可能的大。其他的距離度量沒有太多經驗，這里簡單說一下cosine和exp在NLP中的區別。

• 根據實驗分析，cosine更適用于詞匯級別的語義相似度度量，而exp更適用于句子級別、段落級別的文本相似性度量。其中的原因可能是cosine僅僅計算兩個向量的夾角，exp還能夠保存兩個向量的長度信息，而句子蘊含更多的信息。

損失函數 Python 實現

import torch import numpy as np import torch.nn.functional as Fclass ContrastiveLoss(torch.nn.Module):"Contrastive loss function"def __init__(self, m=2.0):super(ContrastiveLoss, self).__init__()self.m = mdef forward(self, output1, output2, label):d_w = F.pairwise_distance(output1, output2)contrastive_loss = torch.mean((1-label) * 0.5 * torch.pow(d_w, 2) +(label) * 0.5 * torch.pow(torch.clamp(self.m - d_w, min=0.0), 2))return contrastive_loss

其中，F.pairwise_distance(x1, x2, p=2)

pairwise_distance(x1, x2, p) Computes the batchwise pairwise distance between vectors $x_1,x_2$ using the p-norm.

$$\begin{array}{c}{\left({\sum }_{i=1}^n\left({\left|x_1?x_2\right|}^p\right)\right)}^{\frac{1}{p}}\\ x_1,x_2\in {\mathbb{R}}^{b\times n}\end{array}$$

小結

孿生神經網絡的直接用途就是衡量兩個輸入之間的差異/相似程度。

孿生神經網絡的用途：

• 詞匯語義相似度分析
  • 問答機制中 question 和 answer的匹配
• 手寫體識別
• 問題匹配
• Kaggle上Quora的Question Pair比賽，即判斷兩個提問是否為同一個問題

改進的Siamese網絡 （2-channel networks）

Siamese 網絡(2-branches networks)的大體思路：

讓patch1、patch2分別經過網絡，進行提取特征向量(Siamese 對于兩張圖片patch1、patch2的特征提取過程是相互獨立的)

然后在最后一層對兩個兩個特征向量做一個相似度損失函數，進行網絡訓練。

paper所提出的算法(2-channel networks) 的大體思路：

把patch1、patch2合在一起，把這兩張圖片，看成是一張雙通道的圖像。也就是把兩個(1，64，64)單通道的數據，放在一起，成為了(2，64，64)的雙通道矩陣。

然后把這個矩陣數據作為網絡的輸入，這就是所謂的：2-channel。

這樣，跳過了分支的顯式的特征提取過程，而是直接學習相似度評價函數。最后一層直接是全連接層，輸出神經元個數直接為1，直接表示兩張圖片的相似度。當然CNN，如果輸入的是雙通道圖片，也就是相當于網絡的輸入的是2個feature map，經過第一層的卷積后網，兩張圖片的像素就進行了相關的加權組合并映射，這也就是說，用2-channel的方法，經過了第一次的卷積后，兩張輸入圖片就不分你我了。而Siamese網絡是到了最后全連接的時候，兩張圖片的相關神經元才聯系在一起。

偽孿生網絡 （Pseudo-Siamese Network）

“偽”字含義：

對于偽孿生網絡來說，兩邊可以是不同的神經網絡（例如，一個是LSTM，另一個是CNN），并且如果兩邊是相同的神經網絡，是不共享參數的

偽孿生神經網絡結構

偽孿生圣經網絡結構如下圖所示：

可以解決的問題？

• 孿生網絡適用于處理兩個輸入比較類似的情況
• 偽孿生網絡設用于處理啷個輸入有一定差別的情況

例如，計算兩個句子或者詞匯的語義相似度，使用Siamese Network比較合適；驗證標題與正文的描述是否一致（標題和正文長度差別很大），或者文字是否描述了一幅圖片（一個是圖片，一個是文字）就應該使用Pseudo-Siamese Network

三胞胎網絡（Triplet Network）

論文：《Deep metric learning using Triplet network》

三個輸入：一個正例+兩個負例 或者 兩個正例+一個負例

訓練的目的是讓相同類別間的距離盡可能的小，讓不同類別間的距離盡可能的大。

訓練效果：Triplet在cifar, mnist的數據集上，效果都是很不錯的，超過了siamese network。

三胞胎網絡結構

輸入：$x^{?}$與$x$是負樣本，$x^{+}$與$x$是相似正樣本。

三胞胎網絡的損失函數

損失函數定義如下：
$$\mathcal{L}=\max (d(a,p)?d(a,n)+\mathrm{margin},0)$$

• $a$ 表示anchor圖像
• $p$ 表示positive圖像
• $n$ 表示negative圖像

我們希望 $a$ 與 $p$ 的距離應該小于 $a$ 與 $n$ 的距離。$margin$ 是個超參數，它表示 $d(a,p)$ 與 $d(a,n)$ 之間應該相差多少，例如，假設 $margin=0$，并且 $d(a,p)=0.5$ ，那么$d(a,n)$ 應該大于等于$0.7$

Appendix：Andrew NG 三重損失函數

• 代價函數是訓練集的所有個體的三重損失的和：
  $$\text{?Cost?function:?}J=\sum _{i=1}^{n}L\left(A^{(i)},P^{(i)},N^{(i)}\right)$$

• 三重損失函數：
  $$L(A,P,N)=\max \left(\Vert f(A)?f(P){\Vert }^2?\Vert f(A)?f(N){\Vert }^2+\alpha ,0\right)$$

• 解釋：

  這里的最大化處理意味著只要 $d(A,P)—d(A,N)+\alpha$ 小于等于 $0$，那么 $lossL(A,P,N)$ 就會是 $0$，但是一旦它大于 $0$，那么損失值就是正的，這個函數就會將它最小化成 $0$ 或者小于 $0$。

  這里的問題是，模型可能學習給不同的圖片做出相同的編碼，這意味著距離會成為 $0$，不幸的是，這仍然滿足三重損失函數。因為這個原因，我們加入了邊際$\alpha$（一個超參數）來避免這種情況的發生。讓 $d(A,P)$ 與 $d(N,P)$ 之間總存在一個差距。

• 為了比較圖片 $x(1)$ 和 $x(2)$ ，我們計算了編碼 結果 $f(x_1)$ 和 $f(x_2)$ 之間的距離。
  $$d\left(x^{(1)},x^{(2)}\right)={\Vert f\left(x^{(1)}\right)?f\left(x^{(2)}\right)\Vert }_2^2$$
  上式是 $x_1$ 和 $x_2$ 的編碼距離。

  如果它比某個閾值（一個超參數）小，則意味著兩張圖片是同一個人，否則，兩張圖片中不是同一個人。

• 適用于任何兩張圖片【存在正負樣本】

  If $x^{(i)},x^{(j)}$ are the same person, ${\Vert f\left(x^{(i)}\right)?f\left(x^{(j)}\right)\Vert }^2$ is small.

  If $x^{(i)},x^{(j)}$ are different persons, ${\Vert f\left(x^{(i)}\right)?f\left(x^{(j)}\right)\Vert }^2$ is large.

• 應用：

  • Image ranking
  • face verification
  • metric learning

參考資料：

多種類型的神經網絡（孿生網絡）

Siamese network 孿生神經網絡–一個簡單神奇的結構

Siamese Network & Triplet Loss

A friendly introduction to Siamese Networks

Contrastive Loss

總結

以上是生活随笔為你收集整理的孪生神经网络专题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。