有码变高清!AI一秒还原马赛克,杜克大学出品
像素不夠,后期修圖來湊?
在知乎搜索低像素修圖,結果求助帖多到刷不完,而且從 PS 技巧、插件神器到各類修圖 App 教程多到眼花繚亂,重點是效果不知道會怎么樣。
不過,近日杜克大學(Duke University)研究團隊開發了一款 AI 修圖黑科技 PULSE,可以解決所有低像素煩惱。據說它能夠將圖像原始分辨率放大 64 倍,任何渣畫質都可以秒變高清、逼真圖像,甚至被打了馬賽克的人臉圖像,毛孔、皺紋,頭發也都能被清晰還原。
馬賽克秒變高清人像
PULSE 是一種新型超分辨率算法,它通過潛在空間探索對照片采樣,可以將 16x16 像素的低分辨率(Low Resolution,簡稱 LR)放大到 1024x1024 像素的高分辨率(HighResolution,簡稱 HR),在幾秒內增加了 64 倍,而傳統方法最多只能放大 8 倍。
先來看一組示例,修圖界最難處理的 LR 大頭照,經過 PULSE 也可以秒變高清、細膩的圖像。
更重要的是,PULSE 可以定位面部的關鍵特征,以更高分辨率生成一組類似的細節。圖中盡管頭像被打上了馬賽克,PULSE 也可以自行“想象”出諸如眉毛、睫毛、頭發、臉型等面部細節,形成高清、逼真人像。
不過,過度虛化產生的人像只是一種虛擬的新面孔,事實上它并不存在。正因如此,這項技術不能用于身份識別。比如監控攝像頭拍攝的失焦、無法辨別的圖片,不能通過 PULSE 還原成真實存在的人像。
一位杜克大學研究小組的計算機科學家 Cynthia Rudin 說“此前從來沒有如此超高分辨率的圖像被制作出來,它能夠產生不存在的新面孔,而且看起來很真實”。
同時,她補充到,這項研究所采取的技術可以廣泛應用于醫學、顯微鏡、天文學,以及衛星圖像等領域。另外,該研究團隊已將論文已經發表至預印論文庫 arVix,同時被 IEEE 國際計算機視覺與模式識別會議(CVPR 2020)收錄。
“縮減損失”,超越常規修圖法
對于一個 LR 圖像,傳統將 HR 分辨率部分匹配給 LR 圖像而獲取超高分辨率(SR)的方式,往往會導致 HR 圖像出現感光度差、不平滑,畫面失真的情況。
在本次研究中,杜克大學研究團隊開拓了一種新思路,提出新型超分辨率算法 PULSE,它不是遍歷 LR 圖像來慢慢添加細節,而是發現與 HR 相對應的 LR,通過“縮減損失”的方式得到 SR 圖像。
原始 LR (第一行),PULSE 輸出 HR(中間行),HR 對應的 LR (最后一行)
PULSE 使用了生成對抗網絡(GAN),它是一種訓練模型,顧名思義,通過對抗博弈的方式來進行目標訓練。其主要結構包括一個生成器(Generator)和一個鑒別器(Discriminator),在同一組照片訓練中,一個負責訓練接收到的圖像并輸出,一個負責接收該輸出,并檢驗其是否足夠逼真。
以下是與原圖對比后的試驗結果:
圖中,第一行為原圖,第二行為通過“縮減損失”得到的 HR 所對應的 LR,而第三行經過 PULSE 得到的 HR,可以看出,盡管與原圖還存在細微的差別,但還原度已經非常高。
論文中表明,為了檢驗 PULSE 在 SR 方面的優勢,杜克大學研究團隊采用 4 種不同的圖像縮放方法與其進行了比較研究。本次研究利用 CelebA HQ 數據集中的 1440 張圖像,以 x8,x64 的比例因子,對 LR 面部圖像,尤其是眼部、唇部以及頭發等細節之處進行了試驗。
PULSE 呈現出了明顯的優勢,尤其是在 X64 分辨率下,模糊頭像被完全還原,尤其是在眼唇等細節之處,其他方法幾乎達不到這樣的效果。
另外,針對測試結果,研究人員采用感知超分辨率常見的 MOS 測試方式,邀請五位評分者對圖像結果進行了1-5 的打分,結果顯示,HR 源高清圖像分辨率得分為 3.74,而 PULSE 達到了 3.60,僅差 0.14,可以說幾乎達到了真實的高質量圖像的水平。
不過,研究人員也承認 PULSE 還不是很完美。它產生的高分辨率圖像與專業原圖像相比還有一定的差別。但隨著技術和工具的改進,這項技術會被一點點的完善。
現在研究團隊已經將 PULSE 發布到 Github 開源平臺,而且收割了 569 科顆星星。有修圖煩惱的朋友可以安裝體驗一下~(Github 地址:https://github.com/adamian98/pulse)
引用鏈接:
論文地址:https://arxiv.org/pdf/2003.03808.pdf
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
總結
以上是生活随笔為你收集整理的有码变高清!AI一秒还原马赛克,杜克大学出品的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 童年是神秘的,混乱的,不成熟的,好奇的。
- 下一篇: 多想回到家乡是什么歌?