【每周CV论文】初学深度学习图像修复应该要读的文章
歡迎來到《每周CV論文》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統性完成學習，所以我們推薦的文章也必定是同一主題的。
圖像修復(image inpainting)或補全(scene completion)即去除圖像中的一些小目標，屬于底層圖像編輯中的一類技術，今天給大家推薦初學該領域必須要讀的文章。
作者&編輯 | 言有三
1 基于GAN的基本模型
傳統的圖像修復方法通常是用相似度算法從圖像的其他區域選擇圖像塊進行補全，ContextEncoder是首個使用GAN的圖像補全框架。
文章引用量：1000+
推薦指數：?????
[1] Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2536-2544.
2 判別器改進
Context Encoder模型的生成器和判別器結構都比較簡單，補全的結果雖然比較真實，但是邊界非常不平滑，不滿足局部一致性。針對這個特點，研究者聯合使用了全局判別器和局部判別器對Context Encoder模型進行了改進。
文章引用量：500+
推薦指數：?????
[2] Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.
3 注意力機制改進
傳統圖像補全方法擅長從背景圖像中采樣，CNN模型則擅長直接生成新的紋理，為了綜合利用這兩類方法的長處，并充分使用圖片中的冗余信息，研究者提出了基于注意力機制的方法[3]來進行圖像補全，這一類方法通常采用由粗到細的兩個步驟, 第一步先粗略補全，第二步再在未遮擋區域尋找與遮擋區域中相似的圖片塊來進行改進。
文章引用量：260+
推薦指數：?????
[3] Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018: 5505-5514.
4 卷積方式改進
很多框架將缺失的區域使用白色或者是隨機噪聲來填充，白色/隨機噪聲本來沒有有效信息, 對它們與有效的信息不加區別的卷積并不合理, 這樣的補全結果會出現一些不合理的圖像塊，導致往往需要計算量較大的圖像融合等后處理操作。Nvidia提出了Partial Convolution，它通過修改卷積操作來改進圖片補全。
文章引用量：270+
推薦指數：?????
[4] Liu G, Reda F A, Shih K J, et al. Image inpainting for irregular holes using partial convolutions[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 85-100.
5 基于邊緣的補全
當一個作畫者開始畫一幅圖時，往往先描繪出整體的邊緣輪廓，然后再上色。基于這樣的啟發，有一類圖像修復框架采取先對邊緣進行修復，然后對紋理內容進行修復的思路，EdgeConnect是其中的一個代表。
文章引用量：很少
推薦指數：?????
[5] Nazeri K, Ng E, Joseph T, et al. EdgeConnect: Structure Guided ImageInpainting using Edge Prediction[C]//Proceedings of the IEEE InternationalConference on Computer Vision Workshops. 2019: 0-0.
6 應用
在圖像修復算法中非常重要的一類應用就是對老舊照片進行修復，去除刮痕等。
文章引用量：較少
推薦指數：?????
[6] Wan Z , Zhang B , Chen D , et al. Bringing Old Photos Back to Life[J]. 2020..
7 文章解讀
關于圖像修復相關文章的詳細解讀，在有三AI知識星球-網絡結構1000變-圖像修復以及GAN下有較多的文章，感興趣可以移步。
總結
本次我們介紹了初學圖像修復領域值得讀的文章，當前研究重點在于GAN模型，復雜退化類型圖像的修復等方向，讀者可以繼續關注。
有三AI知識星球
知識星球是有三AI的付費內容社區，里面包括各領域的模型學習，數據集下載，公眾號的付費圖文原稿，技術總結PPT和視頻，知識問答，書籍下載，項目推薦，線下活動等資源，了解詳細請閱讀以下文章：
【雜談】有三AI知識星球一周年了！為什么公眾號+星球才是完整的？
【雜談】萬萬沒想到，有三還有個保密的‘朋友圈’，那里面都在弄啥！
轉載文章請后臺聯系
侵權必究
往期精選
【每周論文推薦】 初入深度學習CV領域必讀的幾篇文章
【每周CV論文推薦】 掌握殘差網絡必讀的10多篇文章
【每周CV論文推薦】 初學者必須精讀的5篇深度學習優化相關文章
【每周CV論文推薦】 CV領域中數據增強相關的論文推薦
【每周CV論文推薦】 初學高效率CNN模型設計應該讀的文章
【每周CV論文推薦】 初學目標檢測必須要讀的文章
【每周CV論文推薦】 初學深度學習圖像分割必須要讀的文章
【每周CV論文推薦】 初學GAN必須要讀的文章
【每周CV論文推薦】 深度學習人臉檢測入門必讀文章
【每周CV論文推薦】 初學深度學習人臉關鍵點檢測必讀文章
【每周CV論文推薦】 初學深度學習人臉識別和驗證必讀文章
【每周CV論文推薦】 初學深度學習人臉屬性分析必讀的文章
【每周CV論文推薦】 初學活體檢測與偽造人臉檢測必讀的文章
【每周CV論文推薦】 初學深度學習單張圖像三維人臉重建需要讀的文章
【每周CV論文推薦】 人臉識別剩下的難題：從遮擋，年齡，姿態，妝造到親屬關系，人臉攻擊
【每周CV論文推薦】換臉算法都有哪些經典的思路？
【每周CV論文】深度學習文本檢測與識別入門必讀文章
【每周CV論文】深度學習圖像降噪應該從閱讀哪些文章開始
【每周CV論文】初學GAN圖像風格化必須要讀的文章
【每周CV論文】初學深度學習圖像超分辨應該要讀的文章
【每周CV論文】初學深度學習圖像對比度增強應該要讀的文章
總結
以上是生活随笔為你收集整理的【每周CV论文】初学深度学习图像修复应该要读的文章的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【杂谈】关于批量采购与教材试点深度学习之
- 下一篇： 【杂谈】如果你想快速系统掌握计算机视觉大