選自 arXiv

　　作者：Liqian Ma、Zhe Lin 等

　　機(jī)器之心編譯

　　編輯：蛋醬、張倩、杜偉

　　自拍也能變?yōu)樗模Щ眯迗D界又出新招式，但效果實在感人。

　　智能手機(jī)的出現(xiàn)，讓攝影變成了一項大眾藝術(shù)，也讓越來越多的人愛上「自拍」。但自拍照常常存在構(gòu)圖問題，比如不自然的肩膀姿勢、占據(jù)一小半鏡頭的手臂，或者極其詭異的視角。

　　要想解決這個問題，可以選擇隨身攜帶三腳架或自拍桿，也可以選擇隨身攜帶一個朋友作為攝影師（該方法對單身狗極其不友好）。

　　或者，你還可以選擇相信后期修圖的藝術(shù)。近日，來自 Adobe 研究院、UC 伯克利、魯汶大學(xué)的研究者開發(fā)了一種「自拍」變「他拍」的新技術(shù)，通過識別目標(biāo)的姿勢并生成身體的紋理，在給定的自拍背景中完善和合成人物。

　　在這篇論文中，研究者提出了一種叫做 「Unselfie（非自拍）」的圖片轉(zhuǎn)換方法，能夠?qū)⒆耘恼罩械娜宋铮D(zhuǎn)變?yōu)槭直邸⒓绨颉④|干都比較放松舒展的“他拍圖像”。它會把所有舉起的手臂調(diào)整為向下，然后調(diào)整服裝細(xì)節(jié)，最后填充好所有暴露出來的背景區(qū)域。

　　論文鏈接：https://arxiv.org/pdf/2007.15068.pdf

　　除了用來修飾社交媒體上的自拍照，這項技術(shù)還有很多應(yīng)用方式，如果你急需一張證件照，而無人能幫你拍攝，那這項技術(shù)就能派上用場。

　　當(dāng)然，這個方法目前還不太成熟，除了效果一般之外，偶爾還有翻車的時候，比如生成這樣的圖像：

　　「自拍」轉(zhuǎn)「他拍」的三大挑戰(zhàn)

　　總的來說，「自拍」轉(zhuǎn)「他拍」存在三大挑戰(zhàn)：　　

1. 沒有成對的訓(xùn)練數(shù)據(jù)（自拍 - 他拍圖像對）；

2. 一個自拍姿勢可能對應(yīng)多個他拍姿勢；

3. 改變姿勢會在背景中留下空洞，因此在轉(zhuǎn)換過程中要填補(bǔ)這些空洞。

　　研究者嘗試用之前的幾種方法來解決挑戰(zhàn)，但實驗結(jié)果表明，這些方法會產(chǎn)生明顯的偽影，其紋理細(xì)節(jié)也會由于外觀信息的高度壓縮而丟失。

　　因此，他們提出借助合成「自拍 - 他拍」圖像對和自監(jiān)督學(xué)習(xí)的方法來解決上述問題。

　　具體來說，研究者提出了一種利用他拍圖像合成對應(yīng)自拍圖像的方法，他們利用非參數(shù)化最近姿態(tài)搜索模塊來檢索最接近給定他拍圖像的自拍圖像，然后合成對應(yīng)的自拍照。他們還在推理過程中應(yīng)用了一個最近姿態(tài)搜索模塊。給定一個自拍姿態(tài)輸入，模型會檢索出與之匹配度最高的他拍姿態(tài)，然后利用這個姿態(tài)來合成最后的他拍效果。合成的輸出的結(jié)果不止一個，用戶可以從中選擇，這就解決了上面提到的挑戰(zhàn) 2。

　　利用上述步驟合成的成對數(shù)據(jù)可以直接用來訓(xùn)練一個有監(jiān)督的人像生成網(wǎng)絡(luò)，但實驗結(jié)果顯示，明顯的偽影問題依然沒有解決。之前的各種方法對于合成的成對訓(xùn)練數(shù)據(jù)與真實自拍測試數(shù)據(jù)之間的像素級 domain gap 非常敏感（如下圖 3 所示）。

　　受到 CVPR 2019 論文《Coordinate-based texture inpainting for pose-guided image generation》的啟發(fā)，研究者使用基于坐標(biāo)的修補(bǔ)方法在 UV 空間中修補(bǔ)身體紋理，空間中大部分是不變的原始身體姿態(tài)，因此在面臨合成數(shù)據(jù)的瑕疵時更具魯棒性。此外，基于坐標(biāo)的修補(bǔ)方法可以重新利用可見像素，從而獲得更清晰的結(jié)果。

　　為了應(yīng)對挑戰(zhàn) 3，研究者使用了一個基于合成網(wǎng)絡(luò)的門控卷積層來完善身體外觀和填補(bǔ)背景空白，并保持人體與背景之間的平滑過渡。

　　總的來說，為了解決「unselfie」任務(wù)，研究者提出了下圖所示的三段式 pipeline：

　　首先在數(shù)據(jù)庫中搜索最相近的他拍姿勢，然后執(zhí)行基于坐標(biāo)的身體紋理修補(bǔ)，最后使用合成模塊來細(xì)化結(jié)果，并在背景上合成它們。

　　實驗結(jié)果

　　研究者在定性評估、用戶研究和定量評估三方面將他們提出的方法與以往類似方法進(jìn)行了比較。

　　下圖 7 表明，與之前的 DPIG 和 PATN 方法相比，Unselfie 方法生成了更逼真的人體姿勢和背景。

　　研究者在 Amazon Mechanical Turk (AMT)上對該方法以及 DPIG、VUNET 和 PATN 方法進(jìn)行了用戶研究。結(jié)果顯示，該方法優(yōu)于其他方法（如下表 1 所示）。

　　由于沒有對應(yīng)自拍照的 ground truth 他拍照，因而不能使用 SSIM 之類的指標(biāo)。所以，為了定量比較該方法與其他基準(zhǔn)方法的成像結(jié)果，研究者使用了 FID 和 KID 兩項指標(biāo)。結(jié)果顯示，定量比較中的 FID 和 KID 結(jié)果與用戶研究保持一致，該方法顯著優(yōu)于其他方法。

　　方法局限

　　不過，該方法在以下幾個方面依然存在局限。

　　首先，如下圖 10（左）所示，對于具有挑戰(zhàn)性的自拍姿勢或角度來說，最近姿態(tài)搜索模塊可能難以找到與之匹配的他拍姿態(tài)，這導(dǎo)致合成圖像中的手臂或肩膀相較于頭部區(qū)域過細(xì)或過寬。

　　這一問題在 top-1 結(jié)果中出現(xiàn)的比例少于 10%，并且用戶通常可以從 top-5 結(jié)果中找到良好的兼容姿勢。

　　圖 10：失敗示例。

　　此外，圖 10 示例也暴露出了背景合成的局限。不過，針對此問題，研究者在下圖 11 中也展示了利用已有模型對圖像背景進(jìn)行修復(fù)的示例，從而證明了在大規(guī)模數(shù)據(jù)集上訓(xùn)練的圖像修復(fù)模型的好處。

　　圖 11：背景修復(fù)。

　　最后，系統(tǒng)在 DensePose 檢測中容易出錯。如上圖 10（右）所示，DensePose 沒有檢測到她的手臂在前方。所以，合成模塊在結(jié)果中依然保留了她的手臂。

總結(jié)

以上是生活随笔為你收集整理的脑洞大开！Adobe等新研究把「自拍」变「他拍」，魔幻修图效果感人的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。