摘 要：人臉檢測研究在近幾十年的時間內取得了長足的進步，在生活中的各個方面得到了廣泛的應用。本文首先對人臉檢測進行了簡單的介紹，然后介紹了人臉檢測的兩個比較大的評測網站，人臉檢測的評價指標，在后續介紹了最近人臉檢測的一些綜述性文章以及近幾年人臉檢測的發展情況。

?

關鍵字：人臉檢測 評價指標 綜述 發展

?

Recent Advances in FaceDetection

LIU Heng

(University of the ChineseAcademy of Sciences)

Abstract: the research of face detection has made great progress in recentdecades, and it has been widely used in all aspects of life. Firstly the facedetection were introduced, and then introduces the face detection of tworelatively large web site evaluation, evaluation indexes for the facedetection, in the subsequent introduced recent face detection of a series ofreview articles and in recent years, the development of face detection.

?

Key words: face detection evaluation index development

?

?

1 引言

人臉檢測問題最初來源于人臉識別（Face Recognition）。人臉識別的研究可以追溯到上個世紀六、七十年代，經過幾十年的曲折發展已日趨成熟。人臉檢測是自動人臉識別系統中的一個關鍵環節。早期的人臉識別研究主要針對具有較強約束條件的人臉圖象（如無背景的圖象），往往假設人臉位置一直或者容易獲得，因此人臉檢測問題并未受到重視。隨著電子商務等應用的發展，人臉識別成為最有潛力的生物身份驗證手段，這種應用背景要求自動人臉識別系統能夠對一般圖象具有一定的識別能力，由此所面臨的一系列問題使得人臉檢測開始作為一個獨立的課題受到研究者的重視。今天，人臉檢測的應用背景已經遠遠超出了人臉識別系統的范疇，在基于內容的檢索、數字視頻處理、視頻檢測等方面有著重要的應用價值。

?

2 人臉測評網站

?????? 1：Face Detection Data Set and Benchmark（FDDB）

? ??FDDB是由馬薩諸塞大學計算機系維護的一套公開數據庫，為來自全世界的研究者提供一個標準的人臉檢測評測平臺，其中涵蓋在自然環境下的各種姿態的人臉；該校還維護了LFW等知名人臉數據庫供研究者做人臉識別的研究。作為全世界最具權威的人臉檢測評測平臺之一，FDDB使用Faces in the Wild數據庫中的包含5171張人臉的2845張圖片作為測試集，而其公布的評測集也代表了人臉檢測的世界最高水平。FDDB更新更及時一些。

2：Fine-grained evaluation of face detection in the wild

該測試網站是由李子青老師的研究組創立和維護的，其性能評估更細致，分析不同分辨率、角度、性別、年齡等條件下的算法準確率。該測試集更新沒有FDDB及時。

?

3人臉檢測指標

?	正類	無關類
被檢測到	True Positives	False Positives
未被檢測到	False Negatives	True Negatives

True Positives: TP 正類判定為正類

False Positives: FP 負類判定為正類

False Negatives： FN 正類判定為負類

True Negatives： TN 負類判定為負類

精確率(precision)

它計算的是所有被檢索到的個數（TP+FP）中”應該被檢索到的個數（TP）”占的比例。

?召回率(recall)

它計算的是? 正樣本正確判斷正樣本的結果數 / 正樣本實際數。

?F-Measure

定義為P和 R 的調和平均數。

可得:

F-Measure又稱為F-Score，是信息檢索領域的常用的一個評價標準，計算公式為：其中β?是參數，P是精確率(Precision)，R是召回率(Recall)。

當參數β=1時，就是最常見的F1-Measure了：

“召回率”與“準確率”雖然沒有必然的關系（從上面公式中可以看到），然而在大規模數據集合中，這兩個指標卻是相互制約的。

? ?? ? 由于“檢索策略”并不完美，希望更多相關的文檔被檢索到時，放寬“檢索策略”時，往往也會伴隨出現一些不相關的結果，從而使準確率受到影響。

? ?? ? 而希望去除檢索結果中的不相關文檔時，務必要將“檢索策略”定的更加嚴格，這樣也會使有一些相關的文檔不再能被檢索到，從而使召回率受到影響。

? ?? ? 凡是涉及到大規模數據集合的檢索和選取，都涉及到“召回率”和“準確率”這兩個指標。而由于兩個指標相互制約，我們通常也會根據需要為“檢索策略”選擇一個合適的度，不能太嚴格也不能太松，尋求在召回率和準確率中間的一個平衡點。

?

4近幾年人臉檢測的survey

1）2010年微軟zhang cha和張正友撰寫的人臉檢測的綜述報告。

這篇報告調查了在2010年以前的幾十年中，人臉檢測的一些重要算法的發展過程。首先介紹了seminal Viola-Jones人臉檢測器，然后介紹了采取不同的特征提取和學習算法而得來的人臉檢測方法。這邊文章希望通過審查許多現有的算法，來研究更好的算法來解決這個問題。在這篇文章中給出了提琴-瓊斯的人臉檢測的概述，這也促使許多人臉檢測中的研究進展，對人臉檢測的兩個關鍵問題的解決方案：什么樣的特征，并學習算法的應用。然后總結了各種人臉檢測特征^[1]。

Feature Type	RepresentativeWorks
Haar-like features and its variations	Haar-like features，Rotated Haar-like features，Rectangular features with structure，Haar-like features on motion filtered image
Pixel-based features	Pixel pairs，Control point set
Binarized features	Modified census transform，LBP features，Locally assembled binary feature
Generic linear features	Anisotropic Gaussian filters，LNMF，Generic linear features with KL boosting
Statistics-based features	Edge orientation histograms，Spectral histogram，Spatial histogram (LBP-based)，HoG and LBP，Region covariance
Composite features	Joint Haar-like features，Sparse feature set
Shape features	Boundary/contour fragments，Edgelet，Shapelet

?

?

?

?

?

?

在這篇調查中，總結了各種人臉檢測的機器學習算法：

General Approach	Representative Works
Template matching	Antiface
Bayesian	Bayesian discriminating features
SVM – speed up	Reduced set vectors and approximation
SVM – multiview face detection	SVR based pose estimator，SVR fusion of multiple SVMs，Cascade and bagging，Local and global kernels
Neural networks	Constrained generative model ，Convolutional neural network
Part-based approaches	Wavelet localized parts，SVM component detectors adaptively trained，Overlapping part detectors

這篇文章還提出了2010年之后人臉檢測的未來發展，最簡單的未來方向是進一步提高學習算法和功能。Haar特征用于Viola和瓊斯工作的人臉檢測非常簡單有效的，但不理想的任意姿態的人臉。復雜的功能可能會增加計算的復雜性，雖然它們可以被使用在一個后過濾器的形式，仍然是有效的，這可能會顯著提高檢測器的性能。關于學習，如果所有的功能可以預先指定，提高學習計劃是很重要的。然而，其他的學習算法，如支持向量機或卷積神經網絡可以經常執行同樣出色，內置的機制，新的功能生成。現代的人臉檢測器大多是基于外觀的方法，這意味著他們需要訓練數據來學習的分類。收集大量的地面真實數據仍然是一個非常昂貴的任務，這肯定需要更多的研究。無監督的或半監督的學習計劃將是非常理想的，可以減少所需的數據收集的工作。

?2）Stefanos Zafeiriou, Cha Zhang和張正友撰寫了最新的人臉檢測的綜述paper。

最新性能總結如下^[2]：

可以看出：

1）在過去的10年人臉檢測的性能已經有了激動人心的提升。
2）這些引人注目的性能提升，主要還是得益于將Viala-Jones的boosting和魯棒性的特征相組合。?

3）始終有15~20%的性能Gap，即使允許一個相對較大的FP(大約1000）,始終有15~10%的人臉無法被檢測到。需要特別指出的是這些Gap主要是由于是失焦的人臉（比如模糊的人臉）。
4）在這個Benchmark中，最好的基于boosting技術和最好的基于DPM的技術是比較接近的。當然最好的技術還是boosting和DPM組合在一起的性能。

5人臉檢測的進展（按時間順序）

（1）???JointCascade Face Detection and Alignment. ECCV 2014. D. Chen, S. Ren, Y. Wei, X.Cao, J. Sun.^[3]

這篇文章提出了一個人臉檢測的新方法，該方法達到了人臉檢測的精度和速度方面的藝術新境界。它遵循“升壓級聯結構+簡單的功能”的原則。使用簡單的像素差異的功能，帶來的效率上的優勢。檢測器檢測VGA圖像僅需28.6毫秒，超過一般的檢測器1000倍的速度。在具有挑戰性的數據集上也能達到最佳的精度，明顯優于現有的所有學術界的解決方案。我們的工作表明，準確的人臉對齊（面部點的位置），在區分面孔/非面孔是有幫助的。級聯結構已被證明是有效的檢測和校準算法，這篇文章提出了一個一般的級聯框架，統一了這兩個任務。

（2）The fastest deformable part model for objectdetection?J. Yan, Z. Lei, L. Wen, S. Z. Li,?^[4]

這篇文章解決了變形模型的速度瓶頸，具有挑戰性的數據集保持檢測的準確性。采用近端梯度算法逐步學習低階濾波器的方式，梯級部分修剪，neighborhood知道級聯提出捕獲攻擊修剪附近地區的依賴。對于特征提取，查找表構造，以取代昂貴的計算的方向分區和大小與簡單的矩陣索引操作。這篇文章所提出的方法（在PASCAL VOC類似精度的方法）比目前最快的DPM快4倍。該方法實現了對行人和人臉檢測任務與幀速率的最高的精度。

（3）Face detection without bells and whistles. ECCV 2014.M. Mathias, R. Benenson, M. Pedersoli and L. Van Gool.^[5]

這篇文章發現了一個訓練有素的DPM達到最高的性能，大大提高商業和研究系統，并證明了一個基于剛性模板在結構上類似于Viola&Jones detector可以在這個任務上達到類似的性能。這篇文章討論現有的評價基準存在的問題，并提出了一種改進的程序，取得了相當好的結果。

（4）A Method for Object Detection Based on Pixel IntensityComparisons Organized in Decision Trees. CoRR 2014. N. Markus, M. Frljak, I. S.Pandzic, J. Ahlberg and R. Forchheimer.^[6]

?????? 這篇文章描述了一個基于在級聯的功能組織優化的決策樹集成視覺目標檢測方法。樹木在他們的內部節點使用像素強度的比較，這使得他們能夠處理圖像區域非常快。通過一個人臉檢測問題的實驗分析。所得到的結果是令人鼓舞的，并表明該方法具有實用價值。此外，這篇文章分析了其對噪聲的敏感性，并顯示如何執行快速旋轉不變的目標檢測。

（5）Aggregate channel features for multi-view face detection..?B.Yang, J. Yan, Z. Lei and S. Z. Li.^[7]

?????? 目前許多的子序列，提高了效率與更強大的學習算法用于人臉檢測，但仍然不能滿足需求，不能有效和高效地處理面臨野生大外觀方差的特征表示。為了解決這個瓶頸，這篇文章借用的概念的信道特征的人臉檢測域，它擴展了圖像通道，以不同的類型，如梯度幅值和面向梯度直方圖，因此編碼豐富的信息，在一個簡單的形式。采用一種新的變種，稱為總的信道特征，使得特征設計的全面探索，具有良好的性能和發現一個多尺度版特點。為了解決在野外的面孔的姿勢，提出了一個多視角的檢測方法，具有得分重新排名和檢測調整。在學習viola-jones框架管道，使用聚合信道的特點，多視角人臉檢測使用總的信道特征，在AFW和FDDB測試數據集上和state-of-the-art算法進行比較，取得了很好的效果。

（6）A Convolutional Neural Network Cascade for FaceDetection.?H. Li , Z. Lin , X. Shen, J. Brandt and G. Hua.?^[8]

?????? 在現實世界中的人臉檢測，大的視覺變化，如那些由于姿勢，表情和燈光，這使得需要一個先進的歧視性模型，以準確區分不同的背景。因此，有效的模型的十分重要。為了解決這個問題，這篇文章提出了一種級聯架構基于卷積神經網絡（CNN），具有非常強大的判別能力，同時保持高性能。為了提高定位的有效性，并減少在后期階段的候選人的數量，每個校準階段的輸出用于調整輸入到后續階段的檢測窗口位置。該方法在14幀上的VGA分辨率圖像和100 FPS使用GPU的單CPU核心運行，并實現搞笑的檢測性能。

（7）Multi-view Face Detection Using Deep ConvolutionalNeural Networks.?S. S. Farfade, Md. Saberian and Li-Jia Li

?????? 這是yahoo提出的人臉檢測方法。這篇文章考慮的多視角人臉檢測問題。提出了深密的人臉檢測器（ddfd），這種方法，不需要姿勢/地標標注，使用一個基于深度卷積神經網絡模型。所提出的方法具有最小的復雜性，不像其他最近的深度學習對象檢測方法，它不需要額外的組件，如分割，包圍盒回歸，或支持向量機分類器。通過使用更好的采樣策略和更復雜的數據增強技術可以進一步提高方法的性能。流行的人臉檢測基準數據集的評價表明，與以前的方法相比，該方法有更好的性能。

（8）Face Detection with a 3D Model. ??A. Barbu,N. Lay, G. Gramajo.^[9]

?????? 這篇文章提出了一種基于部分的人臉檢測方法，其中的人臉部分之間的空間關系表示的一個隱藏的三維模型與六個參數。使用一個參數敏感的分類，基于局部二進制特征，得到一個兼容的候選子集，然后通過非最大抑制。在兩個標準的人臉檢測數據集上測試，所提出的基于3D模型的方法獲得的結果相當好^[10]。

?

6 總結與展望

?????? 用于人臉檢測的早期算法很多且完全不同的^[11][12]。現在，人臉檢測方法的主要研究圍繞三大家族：（a）基于boosting的方法，（b）應用深度卷積神經網絡（DCNNs）（C）基于變形零件（DPM）方法。以往的人臉檢測算法分為他們是否對光照變化、面部表情，面部姿勢等魯棒。基于DPMS的人臉檢測方法，具有較好的泛化性能，因為他們沒有模型的變形。一個直接的好處是，DPM方法可以有效地使用較小的數據訓練。

?????? 人臉檢測技術，目前的成功無疑是歸因于強大的功能，以及這些特征的結合^[13]。我認為人臉檢測未來可以從以下幾個方面發展：（1）進一步研究對象的檢測線，在一般情況下，特別是人臉檢測，是如何結合部分為基礎的方法與升壓為基礎的方法。一個有效的方法是在相同的級聯框架下，通過共同學習人臉對齊和檢測^[15]。（2）結合現成的預訓練的DCNN結構產生的特征和DPMs進行人臉檢測^[16][17]。（3）考慮上下文信息以提高人臉檢測性能。人臉是最有可能與其他身體部位連接，這些其他身體部位可以提供面孔強有力的線索。

?????? 現代的人臉檢測器大多是基于外觀的方法，這意味著他們需要的數據來訓練分類器。收集大量的真實數據仍然是一個非常昂貴的任務，這肯定需要更多的研究。無監督或半監督的學習將是相當重要的，以減少所需的數據收集的工作量。另一個問題是從目前的人臉檢測方法訓練的圖像，轉移到從標準相機拍攝的人臉檢測器的特殊相機拍攝的圖像，如全方位攝像機^[18]。

?????? 人臉檢測仍然是一個懸而未決的問題，是否一個人臉檢測器可以檢測任意集合中的人臉。例如當一個新的集合，而不是重新培訓的檢測器，它可以適應一個新的圖像數據集，而無需訪問原始訓練數據^[19]。這樣的相機和環境的特定的人臉檢測器具有非常高的性能。與其他領域，如語音識別和手寫識別，適應性已是不可缺少的。一些早期的工作已經進行了在這方面進行了研究^[20][21]，我堅信，這是一個未來工作研究的重要方向。

?

?

?

參考文獻：

[1] A Survey ofRecent Advances in Face Detection Cha Zhang and Zhengyou Zhang June 2010 TechnicalReport MSR-TR-2010-66 Microsoft Research

[2] A Survey onFace Detection in the wild: past, present and future Stefanos Zafeiriou, ChaZhang, Zhengyou Zhang

[3] Joint CascadeFace Detection and Alignment. ECCV 2014. D. Chen, S. Ren, Y. Wei, X. Cao, J.Sun.

[4] The fastestdeformable part model for object detection?J. Yan, Z. Lei, L. Wen, S. Z.Li,?

[5] Face detectionwithout bells and whistles. ECCV 2014. M. Mathias, R. Benenson, M. Pedersoliand L. Van Gool.

[6] A Method forObject Detection Based on Pixel Intensity Comparisons Organized in DecisionTrees. CoRR 2014. N. Markus, M. Frljak, I. S. Pandzic, J. Ahlberg and R.Forchheimer.

[7] Aggregatechannel features for multi-view face detection..?B. Yang, J. Yan, Z. Leiand S. Z. Li.

[8] AConvolutional Neural Network Cascade for Face Detection.?H. Li , Z. Lin ,X. Shen, J. Brandt and G. Hua.?

[9] Multi-viewFace Detection Using Deep Convolutional Neural Networks.?S. S. Farfade,Md. Saberian and Li-Jia Li

[10] FaceDetection with a 3D Model. ??A. Barbu, N. Lay, G. Gramajo.

[11] M.-H. Yang,D. J. Kriegman, N. Ahuja, Detecting faces in images: A survey, IEEE Trans. onPAMI 24 (1) (2002) 34–58.

[12] E. Hjelmas,B. K. Low, Face detection: A survey, Computer Vision and Image Understanding 83(2001) 236–274.

[13] N. Dalal, B.Triggs, Histogram of oriented gradients for human detection, in: Proc. of CVPR,2005.

[14] M. Mathias,R. Benenson, M. Pedersoli, L. V. Gool, Face detection without bells andwhistles, in: ECCV, 2014.

?

[15] D. Chen, S.Ren, Y. Wei, X. Cao, J. Sun, Joint cascade face detection and alignment, in:European Conference on Computer Vision (ECCV) 2014, 2014.

[16] P.-A.Savalle, S. Tsogkas, G. Papandreou, I. Kokkinos, Deformable part models withcnn features, in: 3rd Parts and Attributes Workshop, ECCV, Vol. 8.

[17] R. Girshick,F. Iandola, T. Darrell, J. Malik, Deformable part models are convolutionalneural networks, arXiv preprint arXiv:1409.5403.

[18] Y. Dupuis, X.Savatier, J.-Y. Ertaud, P. Vasseur, Robust radial face detection foromnidirectional vision, Image Processing, IEEE Transactions on 22 (5) (2013)1808–1821.

[19] V. Jain, E.Learned-Miller, Online domain adaptation of a pre-trained cascade ofclassifiers, in: Computer Vision and Pattern Recognition (CVPR), 2011 IEEEConference on, IEEE, 2011, pp. 577–584.

[20] C. Huang, H.Ai, T. Yamashita, S. Lao, M. Kawade, Incremental learning of boosted facedetector, in: Proc. of ICCV, 2007.

[21] C. Zhang, R.Hamid, Z. Zhang, Taylor expansion based classifier adaptation: Application toperson detection, in: Proc. of CVPR, 2008.

總結

以上是生活随笔為你收集整理的人脸检测研究最新进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。