單目RGB人臉識別

一、簡介

??人臉識別在業內已經算是比較成熟的了，但是單目rgb活體，除了配合式的方法，其實是一個比較難的問題，這篇文章盡量總結開源的人臉檢測、人臉識別、單目rgb活體的多種算法，與君共勉。

二、人臉檢測算法

??如下是目前比較常用的人臉檢測算法的對比分析：

算法發表時間精度(mAP)預測輸出特點論文地址

MTCNN	2016年	94.4%(fddb), 85.1%(wider_face,test,easy)	人臉框+五個關鍵點	三層級聯方式預測	https://arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf
FaceBoxes	2017年	96.0%(fddb), 83.9%(wider_face,test,easy)	人臉框	對小尺寸人臉檢測不佳，速度不受人臉數量影響	https://arxiv.org/pdf/1708.05234.pdf
CenterFace	2019年	98.0%(fddb), 93.2%(wider_face,test,easy)	人臉框+五個關鍵點	相比其他算法，低性能cpu檢測速度急劇下降	https://arxiv.org/ftp/arxiv/papers/1911/1911.03599.pdf
RetinaFace	2019年	96.3%(wider_face,test,easy)	人臉框+五個關鍵點	關鍵點預測作為輔助分支，引入自監督	https://arxiv.org/pdf/1905.00641.pdf

三、人臉識別算法

??如下是目前比較常用的人臉識別算法的對比分析：

算法發表時間精度(mAP)特點論文地址

ArcFace	2018年	99.83%(LFW)	性能高，復雜性低，訓練效率高	https://arxiv.org/pdf/1801.07698.pdf
MobileFaceNet	2018年	99.28%(LFW)	模型只有4M, 準確率高	https://arxiv.org/ftp/arxiv/papers/1804/1804.07573.pdf

四、單目RGB活體檢測算法

??單目RGB活體檢測包含兩種方案：基于RGB單幀活體檢測，基于RGB視頻/連續多幀活體檢測。

4.1 數據集

??活體檢測研究方向在最近幾年才火，且活體數據收集難度較大，導致很多數據集的數據單一，數據量較小，如下是已有的部分數據集：

??ECCV20|北交、商湯、港中文發布大型人臉反欺詐數據集CelebA-Spoof，好像還沒有完全開源，期待中。
??活體檢測性能評判指標：等錯誤率（EER），攻擊呈現分類錯誤率（APCER），善意呈現分類錯誤率（BPCER）和ACER =（APCER + BPCER）/ 2。 交叉測試評估：HTER。

4.2 Face Spoofing Detection Using Colour Texture Analysis（單幀RGB），2016

??Oulu CMVS的產物，算是傳統方法中的戰斗機。原理是活體與非活體，在RGB空間里比較難區分，但在其他顏色空間里的紋理有明顯差異，即使用HSV空間人臉多級LBP特征 + YCbCr空間人臉LPQ特征，進行多通道特征融合分析，最后使用SVM進行分類。

Replay-Attack, CASIA, MSU數據集上測試結果如下：

??由于數據集太小，測試結果并不能很好地反映實際算法性能。

論文地址：https://www.researchgate.net/profile/Jukka_Komulainen/publication/301571761_Face_Spoofing_Detection_Using_Colour_Texture_Analysis/links/5c028dfa92851c63cab31bda/Face-Spoofing-Detection-Using-Colour-Texture-Analysis.pdf

4.3 Face Anti-Spoofing: Model Matters, so Does Data（單幀視頻），2019

??騰訊AI發表在CVPR2019的工作：1）提出一個很容易操作的收集大量數據的方法，包含人工偽造攻擊樣本和在偽造的基礎上擴增；2）提出新模型，用時空+注意力機制來融合全局時域信息和局部空間信息，用于分析模型的可解釋行為；3）明顯提升了多個AS數據集的SOTA。

Oulu測試集上測試結果如下：

論文鏈接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Yang_Face_Anti-Spoofing_Model_Matters_so_Does_Data_CVPR_2019_paper.pdf

4.4 CVPR2020單模態冠軍CeFA（單幀視頻）：Creating Artificial Modalities to Solve RGB Liveness

??在本文工作中，通過引入具有豐富特征的人工形態，如光流和等級池化等，將視頻序列分類問題簡化為圖像分類問題。并提出了一種序列擴增，將真實軌跡轉換為虛假軌跡，從而增加假樣本的數量。最后，使用一個非常簡單的融合神經網絡架構與淺骨干結合不同的模式在一起。

測試集CASIA-SURF CeFa上測試結果如下：

論文鏈接：https://arxiv.org/pdf/2006.16028v1.pdf

4.5 工業級開源活體（單幀RGB）：小視科技工業級靜默活體檢測算法

??小視科技團隊開源的基于 RGB 圖像的活體檢測模型，是專門面向工業落地場景，兼容各種復雜場景下的模型。該自研的剪枝輕量級模型，運算量為 0.081G，在麒麟 990 5G 芯片上僅需 9ms。同時基于 PyTorch 訓練的模型能夠靈活地轉化成 ONNX 格式，實現全平臺部署。
??作者訓練集為1500萬，且拍攝的數據有如下圖依賴，預測時使用多模型聯合的方式增大準確率，開源模型包含mobilenet, MiniFASNetV1, MiniFASNetV2。

算法框架如下：

自備測試集上測試結果如下：

小視科技的工業級活體檢測方案講解：https://www.bilibili.com/video/av371471482/

五、分析

5.1 人臉檢測算法+人臉識別算法分析

??上述提到的4種人臉檢測算法和2種識別算法，盡管在不同數據集的mAP上存在一定差距，但是由于豐巢柜機拍攝的照片的特點（人臉數目少，人臉尺寸較大），可以隨意選取其中一種人臉檢測算法和一種人臉識別算法進行組合完成人臉識別方案。如下是上述論文RetinaFace里面驗證的算法性能：

5.2 單目RGB活體檢測算法分析

??調研過程中的RGB單幀方案（4.4）對比視頻方案（4.3）如下：

方案輸入約束條件訓練數據量活體檢測速度針對攻擊種類

RGB單幀方案	單張實時拍攝的RGB圖片	多	上千萬（小視科技1500萬）	速度快，最快9ms	側重打印和屏幕攻擊
RGB視頻/連續多幀方案	實時視頻的多幀	較少	大多是上萬個視頻	較慢，需要多幀人臉檢測	所有常見攻擊

??根據3D目標檢測方向的論文，曾經思考過單幀RGB圖像估計深度圖，結合估計深度圖和RGB圖像進行活體檢測的方案。但是通過調研發現，單幀RGB圖像估計深度圖太不準確，這也是單目3D目標檢測問題一直以來精度在10%左右的原因，具體調研報告鏈接：https://blog.csdn.net/confusingbird/article/details/109677674

六、總結

推薦人臉檢測算法和人臉識別算法方案:

RetinaFace + ArcFace

??源碼鏈接insightface：https://github.com/deepinsight/insightface

單目RGB活體檢測算法的選取需根據攝像頭的實際情況來決定，可選方案：

- 類似上述報告中4.3論文，基于RGB視頻/連續多幀的活體檢測方案 - 類似上述報告中4.4小視科技的工業級方案，基于RGB單幀的活體檢測方案，但要符合多種約束條件。

活體檢測數據集CASIA-Surf-CeFA下載見: https://blog.csdn.net/confusingbird/article/details/111250457

總結

以上是生活随笔為你收集整理的单目RGB人脸识别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。