The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人臉識別是計算機視覺社區中最基礎和歷史悠久的話題之一。隨著深度卷積網絡和大尺度數據集發展，深度人臉識別取得極大進步并且應用到許多領域。給定一個自然圖像或者視頻幀作為輸入，一個端到端人臉識別系統輸出人臉特征進行識別。 為了達到這個目標，整個系統通常由三個關鍵組件構成:人臉檢測，人臉預處理和人臉表示。人臉檢測定位出圖像或者視頻幀中的人臉；接著人臉預處理用于矯正人臉角度并且裁剪出一個歸一化的像素尺寸；最后在識別階段，從預處理后的人臉中提取具有判別性特征進行識別。這三個階段由深度卷積網絡完成。本文回顧近年來人臉識別中三個組件的進展。作為開始，我們介紹端到端人臉識別系統框架，接著分別回顧三個組件的進展，包含許多先進算法，評價指標，數據集，性能比較，挑戰和進一步研究方向。我們希望這項調查能夠為我們帶來有益的想法，以便更好地了解端到端人臉識別的概況并以系統的方式進行更深入的探索。

1 簡介

人臉識別是計算機視覺中一個廣泛研究的話題。在人類生物識別技術的現有技術中，人臉識別是身份驗證和監視系統等現實應用中使用最廣泛的技術。根據數據模態可以分為基于2D圖像和基于3D掃描方法，它們在發展和應用中不同。本文關注于基于2D圖像端到端人臉識別，以圖像或視頻幀為輸入，輸出人臉特征表示。我們全面回顧人臉識別系統中核心的三個組件:人臉檢測，人臉預處理和人臉識別。下面分別簡要介紹每一個組件。人臉檢測是人臉識別的第一步驟。旨在找到人臉區域。在深度學習之前，劃時代意義的人臉檢測工作是Viola-Jones[32]人臉檢測器，基于Haar特征，使用AdaBoost分類器構建一個級聯結構。后來一系列工作研究基于人工設計特征[7,165,172]和不同分類器【16，127，155】來提高檢測性能。同時一些方法[59,281]研究DPM進行人臉檢測。**讀者可以從[304]中了解更多傳統人臉檢測方法。**近來，隨著DCNNs發展，人臉檢測變得更加魯棒，可以更好適應大范圍人臉姿態和遮擋。

接著，人臉預處理旨在矯正人臉到一個固定角度，同時裁剪出一個歸一化尺寸，然后用于后續人臉特征表示。這是人臉識別系統中重要的中間環節。在本文中，我們介紹了兩種主要的人臉預處理方法，即人臉對齊和人臉正面化。一般來說，人臉對齊是利用空間變換，參照面部關鍵點，將人臉扭曲到一個規范的位置。因此，人臉定位是人臉對齊的必要步驟。大多數傳統的面部地標定位研究都集中在生成方法[36，37]或識別方法[158，354]上，并且有一些關于它們的詳盡調查[100，249，371]。有些方法沒有利用人臉關鍵點，而是直接從輸入的人臉生成對齊的人臉。另外，人臉正面化研究從非正面輸入合成正面人臉，這是處理大姿態人臉識別的常用方法。在人臉識別階段，從預處理后的人臉中提取出具有判別性特征。這是人臉識別最后也是核心步驟。在早期研究中，許多方法都是通過將面部圖像投影到低維子空間中來計算面部表示的，例如Eigenfaces [229]和Fisherfaces [12]。后來，更多的基于局部描述符的手工制作方法[3，137]出現在人臉表示中。對于這些傳統方法的詳細回顧，可以參考[6，233，312]。最近，人臉表示受益于DCNN的發展，見證了高性能人臉識別的巨大進步。本文研究關注于近來每一個組件的進展。人臉識別的性能取決于所有組件的貢獻，也就是任意一個組件性能不佳都會損害最終的表現。為了建立一個高性能端到端人臉識別系統，有必要討論每一個組件及其相互影響。前面出現很多人臉識別綜述工作，本文工作與他們的差別在表1中。

特別的，早期綜述[6,233,312]沒有包含基于深度學習方法；另外，[15,206]關注于3D人臉識別和特殊任務[48,369]。本文關注2D人臉識別，這在實際應用中最廣泛。[181]回顧三個組件的進展但是不包含近年來發展的技術。如圖1所示，近年來出現了大量的工作。

[246]系統研究深度人臉識別，但他們關注深度人臉表示，并且基于訓練損失進行分類是不全面的。例如，他們通過基于歐幾里得距離的損失，基于角/余弦余量的損失，softmax損失及其變化對深度人臉表示的監督學習進行了分類，但是，幾乎所有基于角度/余弦余量的損失都實現為 softmax損失的變化，而不是單個集合的變化。我們建議一個更加合理的分類如5.2部分。[2]研究基于傳統和深度學習的2D和3D人臉識別，但是缺少人臉表示。總之，人臉識別技術需要系統全面的回顧三個組件，但是很少有工作做到.因此本文系統回顧基于深度學習方法的每一個組件。回顧內容包含算法設計，評價指標，數據集，性能比較，挑戰和發展方向。本文貢獻如下:

• 全面回顧基于深度學習的端到端人臉識別系統的三個組件:人臉檢測，人臉預處理和人臉表示
• 從多個角度討論三個組件:算法，評價標準，數據集，性能等等。
• 我們進一步整理現存挑戰和發展方向。

2.概述

如圖2所示，人臉識別系統包含人臉檢測，人臉預處理和人臉表示三個部分。人臉表示用于計算二者相似性，以進一步判斷人臉是否屬于同一個個體。

我們針對這三個要素來構造正文部分(第3、4、5節)，每個要素都是一個研究主題，涉及計算機視覺方面的大量文獻。在本節中，我們簡要概述了這三個要素，并在以下正文部分中深入探討了這三個要素。人臉檢測需要找到圖像中所有人臉多位置，返回邊界框和置信度，第三部分詳細討論了人臉檢測技術。人臉預處理根據人臉關鍵點進行對齊，通常情況下使用圖3中四點和五點進行對齊。

3.人臉檢測

人臉檢測代表性的發展如圖4所示。下面首先把人臉檢測技術進行分類，然后介紹人臉檢測數據集和常用評價指標，最后是人臉檢測挑戰和方向。

3.1 人臉檢測分類

圖4 人臉檢測發展，表2把人臉檢測技術劃分為基于多階段，單階段，基于anchor，anchor-free，多任務，CPU實時和面向問題的方法。

圖5 單階段和多階段人臉檢測器比較

表3 CPU實時人臉檢測器比較

3.2 評價指標和數據集

表4人臉檢測數據集評價指標：AP,IoU,ROC,FPS,
圖6是WIDER FACE是先進的方法PR曲線。

3.3挑戰和方向

• 運行實效性

• 圖像變化

• 有效和統一的anchor設置

• anchor-free 人臉檢測框架

• 高效檢測框架

4.人臉預處理

給定人臉檢測區域，人臉預處理用于矯正人臉。圖7是人臉預處理方法進展，表5是預處理方法分類。

4.1 基于關鍵點人臉對齊

圖8是沙漏網絡用于關鍵點定位。

圖9是3D模型用于人臉對齊。

圖10是不基于關鍵點對齊工作。在一個可訓練網絡中同時進行人臉對齊和表示。

圖11人臉正面化，從側臉合成正臉。

表6是人臉關鍵點數據集

評價指標歸一化平均誤差NME

圖12是300W數據集上不同方法性能比較

5.人臉表示

人臉表示的目標是把對齊的人臉映射到特征空間，其中相同主體的特征盡可能相似，不同個體之間特征盡可能不同。在實際應用中，人臉識別包含人臉認證和人臉識別。人臉認證是指預測一對面部圖像是否屬于同一身份。人臉識別可以被認為是人臉認證的擴展，其目的是確定一組身份(即畫廊)中人臉的特定身份(即探針)；此外，在開放式面部識別的情況下，需要先前的任務，其任務是預測面部是否屬于畫廊身份之一。無論是哪一個任務，都需要人臉表示用于計算人臉相似性。

圖13 人臉表示的訓練和測試階段

圖14人臉表示發展

表7人臉表示方法分類

表8 在LFW和MegaFace數據集上人臉識別性能對比。

表9深度人臉識別常用訓練和測試集

6.討論和結論

表10深度人臉識別中主要挑戰

在這項調查中，我們系統地回顧了端到端深層人臉識別要素的最新進展，這些要素包括人臉檢測，人臉預處理和人臉表示。盡管有很多關于人臉識別的調查，但它們主要關注人臉表示問題，而沒有考慮其他渠道因素的相互影響，而本次調查是第一個對端到端深度要素進行全面回顧的調查人臉識別。我們從多方面對每個元素中的許多方法進行了詳細的討論和比較。此外，我們分析了現有挑戰并收集了它們的某些有前途的未來研究方向。此外，我們討論了它們的相互作用以及整體框架的未來工作。我們希望這項調查能夠為我們帶來有益的想法，以便更好地了解端到端人臉識別的概況并以系統的方式進行更深入的探索。

微信公眾號

如果你絕對本文對你有幫助，歡迎關注微信公眾號計算機視覺前沿獲取更多精彩內容，每天進步一點點，小編等你來！

- END -

總結

以上是生活随笔為你收集整理的teleport 组件的作用_人脸识别综述! 覆盖人脸检测，预处理和特征表示三大核心组件！...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。