當(dāng)圖像缺失部分太多的時候，結(jié)合多階段方法和邊緣先驗信息，這個 GAN 實現(xiàn)了高還原度的圖像修復(fù)，玩法還不止于此。

在過去幾年中，深度學(xué)習(xí)技術(shù)在圖像修復(fù)方面取得了顯著進(jìn)步。然而，許多這些技術(shù)無法重建合理的結(jié)構(gòu)，因為它們通常過度平滑和/或模糊。比如：

或者合成結(jié)果很好，視覺效果真實，但和原始照片卻不一樣。比如：

兩張修復(fù)照片看起來都很正常，但原人不是長這樣。深度生成模型只把生成范圍限定在了「眼睛」上，而沒有定位到更精細(xì)的紋理。對比一下廬山真面目：

再看看這個例子，空白區(qū)域越多，圖像補(bǔ)全的時候就越任性（最右側(cè)是原始圖像）：

以上示例皆選自論文《Image Inpainting for Irregular Holes Using Partial Convolutions》，讀者可參見《心中無碼：這是一個能自動腦補(bǔ)漫畫空缺部分的 AI 項目》一文。

在用媒介還原真實世界的歷史上，人們有一個共識，即邊緣才是物體最具辨識度的信息。所以，在彩色照相技術(shù)出現(xiàn)之前，我們是通過素描、速寫、黑白照片等來記錄世界，并認(rèn)為其足夠真實和還原。

除非你是立體主義、超現(xiàn)實主義、印象主義、浮世繪主義、國風(fēng)主義...

不知道是不是也抱著這樣的想法，加拿大安大略理工大學(xué)理學(xué)院的研究者開發(fā)了一種結(jié)合邊緣信息先驗的圖像修復(fù)方法，其可以更好地再現(xiàn)顯示精細(xì)細(xì)節(jié)的填充區(qū)域。

生成效果如下所示，補(bǔ)全模型會先生成中間所示的完整邊緣信息，然后結(jié)合失真信息一起生成最終的修復(fù)圖像。

更好玩的是，該模型還可以幫你做精準(zhǔn)編輯。想削掉那個山峰嗎？不用再做圖層和重新上色，簡單畫幾條邊緣就行了。

兩位小姐姐都很美，但更喜歡黃色的皮膚，怎么辦？

具體來說，作者們提出了一個二階段生成對抗網(wǎng)絡(luò)?EdgeConnect，它包括一個邊緣生成器，然后是一個圖像補(bǔ)全網(wǎng)絡(luò)。邊緣生成器在圖像的缺失區(qū)域（規(guī)則和不規(guī)則）生成預(yù)測邊緣，然后圖像補(bǔ)全網(wǎng)絡(luò)使用預(yù)測邊緣作為先驗填充缺失區(qū)域。研究者通過公開可用的數(shù)據(jù)集 CelebA、Places2 和 Paris StreetView 對模型進(jìn)行端到端評估，并表明它在數(shù)量和質(zhì)量上優(yōu)于當(dāng)前最先進(jìn)的技術(shù)。

論文：EdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

• 論文地址：https://arxiv.org/pdf/1901.00212.pdf

• 項目地址：https://github.com/knazeri/edge-connect#citation

研究者已經(jīng)在 GitHub 中基于 Places2、CelebA 和 Paris-StreetView 數(shù)據(jù)集給出了全部預(yù)訓(xùn)練模型。

下圖中展示了他們的方法和其它已有模型的對比。相比之下，EdgeConnect 修復(fù)的邊緣信息精確得多，基本不會無中生有，和真實圖像最接近。

圖 3：和已有方法的定性結(jié)果對比。（a）原始圖像；（b）添加白色掩碼的圖像；（c）Yu et al.；（d）Iizuka et al.；（e）本文的方法（端到端）；（f）本文的方法（Canny σ = 2）

下圖是方法概覽。不完整的灰度圖像和邊緣圖以及掩模是第一階段 G1 的輸入，用于預(yù)測完整邊緣圖。將預(yù)測的邊緣圖和不完整的彩色圖像傳遞給第二階段 G2 以執(zhí)行修復(fù)任務(wù)。

其中，下圖中間的藍(lán)色顯示的邊緣是由邊緣生成器網(wǎng)絡(luò)所預(yù)測而補(bǔ)全的（對于缺失的區(qū)域）。

圖 1：(左）輸入缺失區(qū)域的圖像。缺失的區(qū)域用白色表示。（中）計算邊緣。使用 Canny?邊緣檢測器計算以黑色繪制的邊緣（對于可用區(qū)域）；而藍(lán)色顯示的邊緣是由邊緣生成器網(wǎng)絡(luò)所預(yù)測而補(bǔ)全的（對于缺失的區(qū)域）。（右）圖像修復(fù)的結(jié)果。

再看看更多的圖像拼接、移除和編輯的例子吧：

圖 10：使用（a）的左側(cè)和（b）的右側(cè)生成（c）的邊緣圖，最后生成（d）的拼接圖。

圖 11：使用 EdgeConnect 進(jìn)行目標(biāo)移除和圖像編輯的示例。（左）原始圖像。（中）使用可選邊緣信息移除不想要的目標(biāo)來引導(dǎo)圖像修復(fù)。（右）最終生成圖像。

定量分析

現(xiàn)在將注意力轉(zhuǎn)向這項工作的關(guān)鍵假設(shè)：邊緣信息有助于圖像修復(fù)。表 3 顯示了有和沒有邊緣信息的修復(fù)結(jié)果。當(dāng)邊緣信息被整合到修復(fù)模型中時，EdgeConnect 在每個度量上都獲得了更好的分?jǐn)?shù)，即使圖像的大部分缺失也是如此。

表 3：有邊緣信息（完整模型）和無邊緣信息（僅包含 G2 階段）的修復(fù)結(jié)果的對比。

?

研究者使用了參數(shù)σ來控制圖像補(bǔ)全網(wǎng)絡(luò)可用的邊緣信息量。

?

對于較大的σ值，可用的邊緣太少，不能保證生成的圖像質(zhì)量。另一方面，當(dāng)σ太小時，生成太多邊緣，這對于所生成圖像的質(zhì)量也會產(chǎn)生不利影響。也就是說，存在合適的最佳σ值，或者說我們只需要適當(dāng)?shù)倪吘壭畔⒘俊D 6 展示了修復(fù)圖像的質(zhì)量隨 σ的變化。

圖 6：PSNR 和 FID 隨 σ的變化。

圖 7 展示了σ的不同值如何影響具體的修復(fù)任務(wù)。注意，在邊緣數(shù)據(jù)稀疏的區(qū)域中，修復(fù)區(qū)域的質(zhì)量降低。例如，在σ= 5 的修復(fù)圖像中，左側(cè)人臉的左眼重建得比右眼更銳利。但是并不是說每張圖像需要的最優(yōu)σ值都是一樣的。

圖 7：Canny σ對圖像修復(fù)結(jié)果的影響。

實際上，EdgeConnect 可以看成是兩個模型，包含了第一階段的邊緣預(yù)測就可以用于圖像修復(fù)，不包含則可以用于圖像編輯，只要描繪出合適的邊緣就能在第二階段生成合適的圖像。實際上，在最上方展示的人臉案例中，EdgeConnect 可能也很難還原真實的邊緣信息，他們也給出了一些失敗案例。

研究者計劃開發(fā)更好的邊緣探測器。雖然有效地描繪邊緣比數(shù)百條細(xì)節(jié)線更有用，但是邊緣生成模型有時無法準(zhǔn)確地描繪高度紋理化區(qū)域中的邊緣，或者當(dāng)圖像的大部分缺失時，如圖 9 所示。

圖 9：無法生成相關(guān)邊緣信息的修復(fù)結(jié)果的失敗案例。

這項研究值得關(guān)注的地方在于，使用了多階段的方法，選擇了相關(guān)度足夠高的、生成難度較低的先驗信息，作為下一階段的先驗，簡單而高效。

研究者表示，通過改善邊緣生成系統(tǒng)，或許可以將該模型擴(kuò)展到高分辨率修復(fù)應(yīng)用。

轉(zhuǎn)載于:https://www.cnblogs.com/leolion/articles/10425461.html

總結(jié)

以上是生活随笔為你收集整理的【转】为了修复打码女神脸，他们提出二阶段生成对抗网络EdgeConnect的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。