【杂谈】有三AI知识星球最近都GAN了哪些内容？
歡迎大家來到《知識星球》專欄，有三AI知識星球GAN已經更新了好一段時間了，那么最近這一個月主要是在更新什么內容呢，下面簡單的介紹一下。
作者&編輯 | 言有三
1 GAN與人臉年齡編輯
跨年齡的人臉識別和驗證是一個非常具有挑戰性的問題，如果能對年齡進行歸一化，去除年齡因素的干擾，將大大提升跨年齡人臉識別的精度。
有三AI知識星球-網絡結構1000變
CAAE
CAAE(Conditional Adversarial Autoencoder)是一個年齡編輯模型，它可以估計年齡變大時的人臉(Age Progression)，也可以估計年齡較小時的人臉(Age Regression)。
作者/編輯 言有三
CAAE模型首先假設人臉圖像處于一種高維流形(high-dimensional manifold)中，當圖像在這個流形中沿著某個特定方向移動時，年齡就會隨著發生變化，如下圖。
圖中點表示的就是各個年齡，而虛線軌跡就是自然的變化方向，不過在高維流形中操作人臉圖像是一件非常困難的事情，我們無法直接描繪上述的軌跡。
因此與大部分生成模型的思路一樣，首先需要將圖像映射到低維的latent space，實際上就是一個低維的向量，最后再把處理后的低維向量映射回到高維流形中。這兩次映射分別由Encoder和Generator實現，如下：
Encoder輸入圖像輸出z，之后與年齡標簽向量進行拼接作為G的輸入。判別器包含兩個，一個是Dimg，一個是Dz。年齡標簽向量填充后與人臉圖進行通道拼接輸入到判別器Dimg，該判別器判別生成圖的真實性，包含若干個卷積層和若干個全連接層。Dz用于約束z的均勻分布，它包含若干個全連接層。
使用開源代碼https://github.com/mattans/AgeProgression，訓練結果如下。
上面的成對圖中左側是生成圖，右側是原圖，可以看到正面人臉圖像效果是非常好的。
參考文獻
[1]?Zhang Z, Song Y, Qi H. Age progression/regression by conditional adversarial autoencoder[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5810-5818..
2 GAN與人臉表情編輯
表情與年齡一樣，也會對人臉識別算法構成一定挑戰，年齡和表情編輯同時還是一個兼具娛樂性的應用方向，GAN在其中大有可為。
有三AI知識星球-網絡結構1000變
G2-GAN
Geometry Guided Adversarial Facial Expression Synthesis中提出了一個基于關鍵點的表情編輯GAN，它將人臉關鍵點的熱圖作為條件來控制表情的生成與去除。
作者/編輯 言有三
該模型包括兩個生成器和兩個判別器。生成器GE是一個表情生成器，輸入帶表情的關鍵點熱圖HE和無表情的正臉圖IN，生成有表情的圖IE。生成器GN則相反，輸入帶表情的關鍵點熱圖HE和有表情的正臉圖IE，生成無表情的圖IN。
判別器D用于判別真實的三元組(I,H,I’)和生成的三元組(I,H,G(I))，其中I和I’代表的就是無表情和有表情的圖。DE中I是無表情圖，I’是有表情圖，DN中則反之。
整體的損失函數包括4部分：
第一部分是標準的GAN損失，包括生成器損失和判別器損失。
第二部分是pixel loss，用于約束生成器的圖與輸入圖的像素平滑。
第三部分是cycles損失，從輸入圖到GE，到經過GN，構成了一個閉環。
第四部分是屬性保持損失，用于約束身份信息不會被更改，如下式，其中F表示的是人臉識別的特征提取器。
下面是它在CK+表情數據集上的結果。
第一排是無表情，第二排是有表情，第三排是去除表情，第四排是仿真的表情。
上圖是不同表情的插值結果，第一列是原圖，后面的列是不同幅度的表情，實驗結果充分驗證了本方法的有效性。
參考文獻
[1] Song L, Lu Z, He R, et al. Geometry guided adversarial facial expression synthesis[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 627-635.
3 GAN與人臉姿態編輯
姿態對人臉識別等算法的影響非常大，將GAN用于姿態仿真，比如正臉化，將非常有助于人臉識別等模型的性能提升。
有三AI知識星球-網絡結構1000變
FFGAN
FFGAN是一個人臉姿態編輯GAN，可以實現任意姿態到正臉的生成。
作者/編輯 言有三
從上圖結構可以看出，3DMM系數提供了全局的姿態信息以及低頻的細節，而輸入的大姿態圖像則提供了高頻細節，兩者結合一起輸入生成器Generator，并且使用人臉識別模型來進行身份ID信息的保持。
具體的模型結構如下：
整個損失函數包括5部分，除了人臉重建損失，全變分平滑損失，GAN的對抗損失以及人臉識別身份保持損失之外，還添加了一個人臉對稱性的約束作為對稱損失，其定義如下：
使用Multi-PIE數據集進行訓練，結果如下：
FFGAN使用了3DMM模型的系數作為條件控制，首次使用了完全正臉姿態的仿真，這也是后續很多姿態編輯GAN的基本思想。
參考文獻
[1]?Yin X, Yu X, Sohn K, et al. Towards large-pose face frontalization in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3990-3999.
4 GAN與人臉美顏
人臉美顏是一個由來已久的研究課題，傳統的方法多是基于濾波算法和幾何變換，可以實現磨皮美白以及臉型調整。隨著GAN的流行，更多的個性化操作變得可行，比如人臉的妝造遷移。
有三AI知識星球-網絡結構1000變
BeautyGAN
BeautyGAN是一個人臉妝造遷移算法，它不需要成對圖進行訓練，可以將一張圖的妝造風格遷移到另一張圖。
作者/編輯 言有三
如上圖是BeautyGAN的結構示意圖，它使用了CycleGAN的基本結構。生成器G包括兩個輸入，分別是無妝圖Isrc、有妝圖Iref，通過encoder、residual blocks、decoder組成的生成器得到兩個輸出，分別是上妝圖IBsrc、卸妝圖IAref。之后再通過把上妝圖IBsrc和卸妝圖IAref輸入給之前的G，重新執行一次卸妝和上妝，得到兩張重建圖Irec_src和卸妝圖Irec_ref。
BeautyGAN的關鍵在于損失函數的設計，它包含2個主要的損失項：
第一個是perceptual loss：要求上妝和卸妝都不能改變原始的人物ID信息，這里通過Perceptual loss進行約束。
第二個是循環損失(cycle consistency loss)，它用于約束一張圖經過兩次G后與對應的原始圖相同，與CycleGAN的不同之處在于這里使用了同一個GAN，損失的定義是一致的，不再多說。
第三個就是直方圖匹配損失，定義如下：
直方圖匹配損失用于控制臉部、眼部、嘴部三個局部區域的效果。M是掩膜，item分別表示臉部、眼部、嘴部三個區域，HM是一個直方圖匹配操作。
使用開源代碼https://github.com/baldFemale/beautyGAN-tf-Implement進行訓練，測試結果如下：
參考文獻
[1]?Li T, Qian R, Dong C, et al. Beautygan: Instance-level facial makeup transfer with deep generative adversarial network[C]//2018 ACM Multimedia Conference on Multimedia Conference. ACM, 2018: 645-653.
5 GAN與換臉算法
換臉算法有很多種，已經從實驗室走向了工業界，甚至達到了以假亂真的效果，我們后面會給大家持續介紹。
有三AI知識星球-網絡結構1000變
Fast Face-swap
Fast Face-swap是一個基于風格遷移的換臉模型，將被換臉圖作為內容圖，換臉圖作為風格圖，實現了單張圖的人臉遷移。
作者/編輯 言有三
從上圖結構可以看出，它首先對輸入圖像進行正臉對齊，然后使用風格遷移算法將要換的臉圖進行面部紋理遷移得到結果圖，接著進行反對齊，即恢復人臉的初始姿態，最后基于人臉掩膜與原始圖像采用seamless cloning技術進行融合改進。
具體的網絡結構如上，采用了多尺度的結構，內容的損失就是標準的L2距離。
風格的損失使用了多個K*K大小的圖像塊的高層特征向量的余弦距離，如下：
文章中還添加了一個光照損失，通過在同一姿態不同光照條件下訓練的Siamese模型來提取特征，然后計算其歐式距離。
完整的實現可以參考眾多的風格遷移模型，一些結構如下：
可以看出正臉的換臉效果還是不錯的。
參考文獻
[1]?Korshunova I, Shi W, Dambre J, et al.?Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
6 關于更多GAN的內容
有三AI知識星球是我們繼公眾號之后重點打造的原創知識學習社區，目前的網絡結構1000變板塊正在更新GAN相關的內容，有需要的同學可以加入學習。
其他的內容板塊如下，了解可以閱讀：【雜談】為什么邀請大家加入硬核知識星球有三AI
以上所有內容
加入有三AI知識星球即可獲取
來日方長
點擊加入
不見不散
更多精彩
每日更新
轉載文章請后臺聯系
侵權必究
往期精選
【知識星球】分組卷積最新進展，全自動學習的分組有哪些經典模型？
【知識星球】卷積核和感受野可動態分配的分組卷積
【知識星球】有三AI 10月新主題，千奇百怪GAN上線！
【知識星球】剪枝量化初完結，蒸餾學習又上線
【知識星球】有沒有網絡模型是動態變化的，每次用的時候都不一樣？
總結
以上是生活随笔為你收集整理的【杂谈】有三AI知识星球最近都GAN了哪些内容？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【杂谈】当前模型剪枝有哪些可用的开源工具
- 下一篇： 【杂谈】当前模型量化有哪些可用的开源工具