【人脸表情识别】不得不读的重要论文推荐（2019-2020篇）
上一篇專欄文章我們介紹了2015-2018年基于圖片的人臉表情識別代表性方法。本文將延續上一篇的內容，繼續盤點2019-2020基于圖片的人臉表情識別的代表性工作。
作者&編輯 | Menpinland
1. 對姿態和身份魯棒的人臉表情識別方法
之前的研究表明人的頭部姿態以及身份都會影響人臉表情識別的效果，頭部姿態的改變會讓算法難以用統一的模式去識別相同的表情，而相同的身份容易讓算法誤認為同一個人屬于同一類（相同身份有許多人臉特征相同），因此許多研究者針對這兩類問題提出了相應的解決方案。但很少有工作能較好地同時解決姿態跟身份帶來的問題，所以Wang等人[1]基于對抗學習的思想提出了對姿態和身份較為魯棒的人臉表情識別方法（如圖1所示）。該方法輸入相同表情但姿態跟身份不一樣的兩張人臉，通過對抗學習的方式去除掉姿態跟身份的變化，僅保留表情的特征信息再進行識別，從而達到對姿態和身份都較為魯棒的目的。
推薦指數：?????
圖1｜[1]中提出方法示意圖
[1] Wang C, Wang S, Liang G. Identity-and Pose-Robust Facial Expression Recognition through Adversarial Feature Learning[C]//Proceedings of the 27th ACM International Conference on Multimedia. 2019: 238-246.
2. 含手工特征的自適應加權損失函數
在其他一些分類問題上，前人的研究發現手工設計的特征跟深度學習獲得的特征有相似之處且互補，選用合適的策略將手工特征嵌入到深度學習中可有效提升分類的效果。Xie等人[2]發現在人臉表情識別領域，并沒有太多的工作深入研究如何將手工特征跟深度特征相融合，因此構建自適應的加權損失函數融合手工特征以及深度特征。
推薦指數：?????
圖2｜[2]中提出的方法示意圖
[2] Xie W, Shen L, Duan J. Adaptive Weighting of Handcrafted Feature Losses for Facial Expression Recognition[J]. IEEE Transactions on Cybernetics, 2019.
3. 圖結構表示和雙向循環神經網絡
Zhong等人[3]的工作最大的創新之處在于采用圖結構進行人臉表情表示，隨后再用雙向循環神經網絡以及全連接層進行特征提取和分類。不過無論從理論解釋上還是實驗結果上，這種方法暫時還沒有特別明顯的優勢。
推薦指數：?????
圖3｜[3]中提出方法示意圖
[3] Zhong L, Bai C, Li J, et al. A Graph-Structured Representation with BRNN for Static-based Facial Expression Recognition[C]//2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019). IEEE, 2019: 1-5.
4. 聯合人臉表情的生成與識別
針對當前人臉表情識別數據較少的問題，Yan等人[4]提出聯合人臉表情生成與識別的方法（方法框架如圖4所示）。簡單來說，就是通過生成對抗網絡合成虛擬的表情圖片，這些虛擬的圖片能夠輔助識別的網絡提升表情識別的效果，而識別的網絡能夠引導GAN生成更逼真的虛擬表情圖片。
推薦指數：?????
圖4｜[4]提出的方法架構
[4] Yan Y, Huang Y, Chen S, et al. Joint Deep Learning of Facial Expression Synthesis and Recognition[J]. IEEE Transactions on Multimedia, 2019.
5. 空間注意力+多路連接的人臉表情識別
Xie等人[5]主要圍繞最常用的人臉表情識別方法——卷積神經網絡進行更有針對性的改進，在多個數據集上取得了較好的識別效果。方法主要分成兩大模塊(如圖5)：（1）attention-based Salient Expressional Region Descriptor (SERD) ，這個模塊先從在大型人臉數據集上進行過預訓練的模型微調得到特征圖，再加入空間注意力機制，突出表現出表情的區域；（2）Multi-Path Variation-Suppressing Network (MPVS-Net)，這個模塊簡單來說就是將一個人臉表情特征同多個隨機相同表情的人臉特征進行比對，降低不同屬性的影響（性別，人種等），訓練出來后，得到具有明顯區分性的特征向量再進行全連接和分類。在2020年情感計算頂級期刊《IEEETransactions on Affective Computing》中，Fan等人[6]同樣引入了注意力機制，以及通過雙階段訓練的方法降低不同屬性對表情識別的影響（方法結構如圖6）。
推薦指數：?????
圖5｜[5]提出的模型結構
圖6｜[6]提出方法示意圖
[5] Xie S, Hu H, Wu Y. Deep multi-path convolutional neural network joint with salient region attention for facial expression recognition[J]. Pattern Recognition, 2019, 92: 177-191.
[6]?Fan Y, Li V, Lam J C K. Facial Expression Recognition with Deeply-Supervised Attention Network[J]. IEEE Transactions on Affective Computing, 2020.
6. 利用對抗學習提升帶遮擋表情識別效果
跟姿態變換、光照問題一樣，遮擋問題也是人臉表情識別所需面臨的一項挑戰。Pan[7]等人基于對抗學習的思想，提出了一個有效提升含遮擋的人臉表情識別網絡（方法框架如圖7所示）。在訓練階段，網絡利用Resnet對遮擋和非遮擋人臉分別進行訓練得到y1和y2兩組特征，隨后通過設計的五個損失函數對網絡進行優化。五個損失函數分別為：（1）針對y1的交叉熵損失函數；（2）y1與y2相似度損失函數；（3）針對y1和y2交叉熵函數的LIR（Loss Inequality Regularization）損失函數；（4）利用遮擋與非遮擋特征聯合訓練的生成對抗損失函數；（5）利用遮擋特征實現去除遮擋的損失函數。最終五個損失函數按照一定權重進行相加，權重通過網格搜索的方法進行選擇。同時考慮到含遮擋的人臉表情圖片較少，作者通過人工合成的方式構建含遮擋的人臉表情數據。2020 ACM MM上另外一篇文章[8]也是設計多個損失函數的組合引導網絡提升含遮擋人臉表情的識別效果（網絡結構如圖8所示）。
推薦指數：?????
圖7｜[7]提出的方法框架示意圖
圖8｜[8]提出的網絡結構
[7] Pan B, Wang S, Xia B. Occluded facial expression recognition enhanced through privileged information[C]//Proceedings of the 27th ACM International Conference on Multimedia. 2019: 566-573.
[8]?Xia B, Wang S. Occluded Facial Expression Recognition with Step-Wise Assistance from Unpaired Non-Occluded Images[C]//Proceedings of the 28th ACM International Conference on Multimedia. 2020: 2927-2935.
7. 高效網絡集成
AAAI 2020的一篇文章，總體來說，Siqueira等人[9]工作的核心思路就是網路集成，根據數據集類型的不同（實驗室條件下和自然狀態下的不同）設計不同的網絡結構，創新性的話并無太大亮點。不過，文章提供了一定的理論支撐，以及提供了基于所提方法的非常完整的表情識別框架，識別效率高，所以還是值得推薦。
推薦指數：?????
代碼：https://github.com/siqueira-hc/Efficient-Facial-Feature-Learning-with-Wide-Ensemble-based-Convolutional-Neural-Networks
圖9｜[9]中針對不同類型數據集提供不同的集成方案
[9] Siqueira H, Magg S, Wermter S. Efficient facial feature learning with wide ensemble-based convolutional neural networks[J]. arXiv preprint arXiv:2001.06338, 2020.
8. 抑制不確定性表情
當前大型人臉表情數據集存在著幾個不確定因素：人臉表情模棱兩可，圖片質量較低以及標注者會帶有主觀偏見，這些問題的存在也容易讓模型訓練過程中陷入“誤區”。針對上述問題，Wang等人[10]提出了“自愈網絡”（Self-Cure Network，SCN）用于在訓練過程中動態的調整標簽從而提升識別的效果。整個網絡包含三大主要部分（如圖10所示）：（1）樣本經過一個主干卷積神經網絡生成特征，特征經過一層全連接層和sigmoid函數，得到一個表達樣本標簽一致性的參數（該參數越接近1，即代表這個樣本跟標簽越是對應一致的）；（2）得到樣本標簽一致性的參數后，經過一個正則化網絡不斷學習后，網絡會自動歸類“好”樣本與“壞”樣本，并更加突出兩者間的差異；（3）對于“壞樣本”，如果其預測所有表情概率的最大值減去其標注表情的概率大于一個閾值，則修改為最大概率的類別。同年另外一篇CVPR文章[11]也是針對人臉表情識別中的標注問題提出了基于圖表示方法。
推薦指數：?????
代碼：https://github.com/kaiwang960112/Self-Cure-Network
圖10｜[10]中提出的方法示意圖
[10] Wang K, Peng X, Yang J, et al. Suppressing uncertainties for large-scale facial expression recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 6897-6906.
[11]?Chen S, Wang J, Chen Y, et al. Label Distribution Learning on Auxiliary Label Space Graphs for Facial Expression Recognition[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 13984-13993.
基于圖片的人臉表情識別的工作，尤其是近兩年的優秀的工作，其實遠不止本文提到的那些。一些筆者不太熟悉的領域，如基于弱監督[12]，半監督[13]的人臉表情識別、基于動態類別增長的人臉表情識別[14]、基于域自適應（遷移學習）的跨數據集人臉表情識別[15]等，在本文就不再對這些方法做過多的描述，有興趣的小伙伴可自行查看。
[12]?Zhang F, Zhang T, Mao Q, et al. Geometry Guided Pose-Invariant Facial Expression Recognition[J]. IEEE Transactions on Image Processing, 2020, 29: 4445-4460.
[13]?Florea C., Badea M., Florea L., Racoviteanu A., Vertan C. (2020) Margin-Mix: Semi-Supervised Learning for Face Expression Recognition. In: Vedaldi A., Bischof H., Brox T., Frahm JM. (eds) Computer Vision – ECCV 2020. ECCV 2020. Lecture Notes in Computer Science, vol 12368. Springer, Cham.
[14]?Zhu J, Luo B, Zhao S, et al. IExpressNet: Facial Expression Recognition with Incremental Classes[C]//Proceedings of the 28th ACM International Conference on Multimedia. 2020: 2899-2908.
[15]?Zhou L, Fan X, Ma Y, et al. Uncertainty-aware Cross-dataset Facial Expression Recognition via Regularized Conditional Alignment[C]//Proceedings of the 28th ACM International Conference on Multimedia. 2020: 2964-2972.
總結
從近兩年的代表性工作我們也可以看到，除了用非常新穎方法去提升識別效果外。對于基于圖片的人臉表情識別方法，越來越多研究回歸到這個領域所存在的問題（姿態變化、身份影響以及標注不一等）并提出針對性的解決方案。但當前仍然沒有方法能解決所有基于圖片的人臉表情識別所存在的問題，所以對于之后該領域的工作依然值得期待。下一篇專欄我們將把目光轉向基于視頻的人臉表情識別，敬請期待~
有三AI秋季劃-人臉圖像組
人臉圖像小組需要掌握與人臉相關的內容，學習的東西包括8大方向：人臉檢測，人臉關鍵點檢測，人臉識別，人臉屬性分析，人臉美顏，人臉編輯與風格化，三維人臉重建。。了解詳細請閱讀以下文章：
【CV秋季劃】人臉算法那么多，如何循序漸進地學習好？
轉載文章請后臺聯系
侵權必究
往期精選
【人臉表情識別】基于圖片的人臉表情識別，基本概念和數據集
【人臉表情識別】如何做好表情識別任務的圖片預處理工作
【人臉表情識別】不得不讀的重要論文推薦（2015-2018篇）
【CV秋季劃】模型優化很重要，如何循序漸進地學習好？
【CV秋季劃】人臉算法那么多，如何循序漸進地學習好？
【CV春季劃】170分鐘學習OpenCV與經典圖像處理算法基礎
【CV秋季劃】人臉關鍵點檢測，人臉識別視頻更新
【CV秋季劃】人臉檢測，活體人臉檢測，偽造人臉檢測視頻更新
【CV秋季劃】人臉識別經典難題介紹，抗遮擋，跨年齡，異質源，少樣本等
【CV秋季劃】人臉三維重建視頻更新
【CV秋季劃】人臉年齡，表情，姿態等屬性識別視頻更新
【CV秋季劃】人臉美顏與風格化視頻上新
【CV秋季劃】人臉編輯之統一屬性編輯方法視頻更新
【CV秋季劃】人臉編輯之表情，年齡，姿態編輯方法視頻更新
【CV秋季劃】深度學習換臉算法視頻更新
總結
以上是生活随笔為你收集整理的【人脸表情识别】不得不读的重要论文推荐（2019-2020篇）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【人脸表情识别】不得不读的重要论文推荐（
- 下一篇： 【直播课】有三AI直播答疑服务上线，如何