Deep Learning Face Representation by Joint Identification-Verification

DeepID2

1、四個(gè)問題

要解決什么問題？

• 人臉識別。
• 主要挑戰(zhàn)是，設(shè)計(jì)一套方法能夠有效地減少類內(nèi)差異，并增大類間差異。

用了什么方法解決？

• 使用face identification（人臉分類）和face verification（人臉驗(yàn)證）信號進(jìn)行監(jiān)督學(xué)習(xí)。訓(xùn)練了一個(gè)CNN用于次任務(wù)。

效果如何？

• 老論文了，就看個(gè)思路。
• 最后在LFW上達(dá)到了99.15%的人臉驗(yàn)證準(zhǔn)確率。

還存在什么問題？

• 由于是較早的論文，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)以及訓(xùn)練上有一定局限性。

2、論文概述

2.1、網(wǎng)絡(luò)結(jié)構(gòu)

• 網(wǎng)絡(luò)結(jié)構(gòu)很簡單，類似于LeNet。卷積層+池化層組合，經(jīng)過四層后，將卷積層展開為全連接層，用來輸出特征向量。

2.2、Identification和verification

• 首先是人臉分類（face identification）信號，主要用于將人臉劃分為$n$個(gè)類（人）。
• 人臉分類需要在上面的網(wǎng)絡(luò)之后加上一個(gè)有$n$個(gè)輸出的softmax層，用來輸出預(yù)測的每個(gè)類的概率值。
• 公式如下：

• 然后是人臉驗(yàn)證（face verification）信號，提取得到的特征向量對于類內(nèi)來說距離更小，對于類間來說距離更大。
• 直接把上面網(wǎng)絡(luò)的輸出作為特征向量，使用L1/L2范數(shù)計(jì)算特征之差，使用L2范數(shù)作損失函數(shù)的效果會(huì)更好。實(shí)質(zhì)上，使用L2范數(shù)衡量的是特征向量之間的歐式距離。
• 公式如下：

• 關(guān)于公式的幾個(gè)看法：
  • $y_{ij}=1$意味著樣本是同類，這時(shí)我們需要讓同類之間的特征向量差值盡可能小，所以就最小化兩個(gè)特征向量的L2范數(shù)。
  • $y_{ij}=?1$意味著是不同類，這時(shí)候我們想讓不同類之間的特征向量的距離比同類之間的特征向量的距離大，但不能是無窮大，所以又加入了一個(gè)常數(shù)$m$，防止讓歐式距離趨近于無窮大?？紤]到人臉任務(wù)中，兩張臉有些地方是會(huì)有一定的相似性，但并意味著我們完全不需要此類信息，比如：這兩個(gè)人臉的鼻子都很大，并不意味著就可以丟掉鼻子大小這個(gè)信息，也許有的人鼻子大小差異又會(huì)比較大。
• 如果考慮的是余弦相似度函數(shù)，公式如下圖所示：

• 公式說明：
  • $d=\frac{f_i?f_j}{\frac{1}{2}(y_{ij}?\delta (wd+b))}$是特征向量之間的余弦相似度。
  • $\delta$是sigmoid函數(shù)。
  • $y_{ij}$是label。

2.3、訓(xùn)練流程

2.4、算法流程

使用SDM算法抽取人臉上的21個(gè)標(biāo)記，然后根據(jù)得到的標(biāo)記對人臉進(jìn)行對齊。通過變化位置、尺度、顏色通道，得到200個(gè)face patch，對每個(gè)face patch，使用該patch及其水平反轉(zhuǎn)的圖像進(jìn)行特征學(xué)習(xí)。所以，一共需要200個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)。

作者將論文中的深度卷積神經(jīng)網(wǎng)絡(luò)框架稱為DeepID2。接著，作者使用200個(gè)DeepID2來學(xué)習(xí)上一步得到的patch，每個(gè)DeepID2都會(huì)將輸入圖像轉(zhuǎn)換成一個(gè)160維的特征向量。

對每張圖像而言，經(jīng)過200個(gè)DeepID2學(xué)習(xí)到的特征數(shù)目為200*160，特征數(shù)目太大了。所以論文中使用前向后向貪心算法來選取一些有效且互補(bǔ)的DeepID2向量，以節(jié)約時(shí)間。注意，特征選擇在每個(gè)DeepID2向量間進(jìn)行，也就是一個(gè)DeepID2輸出的向量，要么全被選中，要么全不被選中。

選中25個(gè)向量后，每張圖像的維度是25*160=4000維。仍然太大，因而使用PCA進(jìn)行降維，降維后大約有180維。

最后使用聯(lián)合貝葉斯模型用來進(jìn)行人臉驗(yàn)證。

3、參考資料

https://blog.csdn.net/tsb831211/article/details/52760766

https://blog.csdn.net/stdcoutzyx/article/details/41497545

總結(jié)

以上是生活随笔為你收集整理的论文笔记：DeepID2的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。