Siamese Network
原文：《Learning a Similarity Metric Discriminatively, with Application to Face Verification》

1、四個(gè)問(wèn)題

要解決什么問(wèn)題？

• 用于解決類別很多（或者說(shuō)不確定），然而訓(xùn)練樣本的類別數(shù)較少的分類任務(wù)（比如人臉識(shí)別、人臉認(rèn)證）
• 通常的分類任務(wù)中，類別數(shù)目固定，且每類下的樣本數(shù)也較多（比如ImageNet）

用了什么方法解決？

• 提出了一種思路：將輸入映射為一個(gè)特征向量，使用兩個(gè)向量之間的“距離”（L1 Norm）來(lái)表示輸入之間的差異（圖像語(yǔ)義上的差距）。
• 基于上述思路設(shè)計(jì)了Siamese Network。每次需要輸入兩個(gè)樣本作為一個(gè)樣本對(duì)計(jì)算損失函數(shù)。
  • 常用的softmax只需要輸入一個(gè)樣本。
  • FaceNet中的Triplet Loss需要輸入三個(gè)樣本。
• 提出了Contrastive Loss用于訓(xùn)練。

效果如何？

• 文中進(jìn)行了一個(gè)衡量?jī)蓮埲四樀南嗨贫鹊膶?shí)驗(yàn)，使用了多個(gè)數(shù)據(jù)庫(kù)，較復(fù)雜。
• siamese network現(xiàn)在依然有很多地方使用，可以取得state-of-the-art的效果。

還存在什么問(wèn)題？

• contrastive loss的訓(xùn)練樣本的選擇需要注意，論文中都是盡量保證了50%的正樣本對(duì)和50%的負(fù)樣本對(duì)。

2、論文概述

2.1、問(wèn)題的提出與解決方案

• 分類問(wèn)題：
  • 第一類，分類數(shù)量較少，每一類的數(shù)據(jù)量較多，比如ImageNet、VOC等。這種分類問(wèn)題可以使用神經(jīng)網(wǎng)絡(luò)或者SVM解決，只要事先知道了所有的類。
  • 第二類，分類數(shù)量較多（或者說(shuō)無(wú)法確認(rèn)具體數(shù)量），每一類的數(shù)據(jù)量較少，比如人臉識(shí)別、人臉驗(yàn)證任務(wù)。
• 文中提出的解決方案：
  • learn a similar metric from data。核心思想是，尋找一個(gè)映射函數(shù)，能夠?qū)⑤斎雸D像轉(zhuǎn)換到一個(gè)特征空間，每幅圖像對(duì)應(yīng)一個(gè)特征向量，通過(guò)一些簡(jiǎn)單的“距離度量”（比如歐式距離）來(lái)表示向量之間的差異，最后通過(guò)這個(gè)距離來(lái)擬合輸入圖像的相似度差異（語(yǔ)義差異）。

2.2、網(wǎng)絡(luò)結(jié)構(gòu)概述

• 數(shù)學(xué)符號(hào)描述
  • 輸入數(shù)據(jù)：$X_1$、$X_2$、$X_2^{{}^{\prime }}$。其中$X_1$和$X_2$屬于同一類，$X_1$和$X_2^{{}^{\prime }}$屬于不同類。
  • 模型：$G_W$。其中$W$表示模型參數(shù)，$G_W$的作用就是將輸入數(shù)據(jù)$X$轉(zhuǎn)換為一組特征向量。
  • 距離（文中稱其為energy function）：$E_W$。用于衡量?jī)蓚€(gè)輸入向量轉(zhuǎn)換為向量之后，兩個(gè)向量之間的距離。
    • 如果采用L1距離，則公式為：$E_W(X_1,X_2)=\Vert G_W(X_1)?G_W(X_2)\Vert$。

2.3、Contrastive Loss損失函數(shù)

• $Y$表示$X_1$、$X_2$是否屬于同一類。為同類，則為0；不同類，則為1。
• $P$表示輸入的總樣本數(shù)，$i$表示當(dāng)前樣本的下標(biāo)。
• $L_G$表示兩個(gè)樣本為同類時(shí)的損失函數(shù)，$L_I$表示兩個(gè)樣本未不同類時(shí)的損失函數(shù)。
• 使用Contrastive Loss的任務(wù)主要是設(shè)計(jì)合適的$L_G$和$L_I$損失函數(shù)，當(dāng)為同類時(shí)，使得$L_G$盡可能小；當(dāng)不同類時(shí)，使得$L_I$盡可能大。文中給出的函數(shù)如下圖，現(xiàn)在也不常用了，推導(dǎo)步驟略。

• 查找資料看到，caffe中的contrastive loss定義如下：(參考：https://blog.csdn.net/autocyz/article/details/53149760)

$$L=\frac{1}{2N}\sum _{n=1}^{N}y{d}^2+(1?y)max(margin?d,0{)}^2$$

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的论文笔记：孪生神经网络(Siamese Network)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。