魚羊蕭簫發(fā)自凹非寺

　　量子位報(bào)道公眾號 QbitAI

　　現(xiàn)在，AI 對光影的理解越來越深入了。

　　不僅能自動給二次元萌妹的線稿上色，繪制出合理的光影變化。

　　反向操作，提取圖片中的紋理和光影也不在話下。

　　大師級作品、或是攝影海報(bào)，只需要拿過來「掃描」一下，就能分解出純色層、陰影層和反射層。

　　這下，想要調(diào)整圖片的紋理和光影，再也不用苦惱沒有 psd、圖層被合并了。

　　這只全新 AI 的一作，還是那位打造了火遍二次元圈的自動線稿上色 AIStyle2Paints的 Lvmin Zhang 小哥。

　　論文已經(jīng)中了 ECCV 2020 Spotlight。

　　摳掉多余的像素

　　分解圖像最需要解決的問題，就是圖像平滑，它能讓圖像變得更模糊，但與此同時，調(diào)節(jié)光影、紋理也變得更容易。

　　而圖像平滑的核心問題，可以被理解成估計(jì)圖像中的像素是否被需要。

　　圖像平滑

　　換種說法，圖像平滑要解決的最大問題，是在圖像去噪和外觀保留這兩者之間，找一個平衡點(diǎn)。

　　也就是說，與銳化相反，平滑既要最大程度上保留圖像的本質(zhì)，又希望能消除圖像的噪音。

　　下圖就是經(jīng)過平滑處理的一張圖像。可以看見，即使平滑處理后的圖像變得模糊不清，我們依稀能辨認(rèn)出這是一片海。

　　那么，平滑圖像究竟有什么用？

　　看，調(diào)節(jié)色溫方便多了，讓圖中的天和海從藍(lán)變綠再變紫，看起來都不是問題。

　　此外，圖像平滑也是圖像處理中紋理去除、材料處理、重新著色、層提取等操作的基本處理步驟。

　　那么，如何讓一個 AI 實(shí)現(xiàn)圖像平滑呢？

　　研究者發(fā)現(xiàn)，對圖像中物體的部分外觀進(jìn)行「擦除」（手動消除部分噪聲），似乎能給圖像平滑帶來更好的效果。

　　如果你是一個 PS 大神，那么，選擇圖像中該擦除的部位肯定不是難事。

　　然而，AI 它并不會 PS…這就需要人為制定一些「規(guī)則」，告訴 AI，哪些像素應(yīng)該被擦除。

　　這里又回到了開頭提到的，圖像平滑的本質(zhì)：在圖像去噪和外觀保留二者之間，找尋一個平衡點(diǎn)。

　　說白了，就是估計(jì)圖像中哪些像素是需要的，哪些是可以被「擦除」的。

　　作者將這一步驟稱之為擦除外觀保留（Erasing Appearance Preservation ，EAP）。

　　這里就涉及到一個像素選擇的算法，作者制作了一個0-1 背包，將它解決了。

　　0-1 背包問題

　　這個問題在像素中的場景描述如下：如何選擇這個位置的像素值，使圖像平滑效果最好？

　　把這個位置比作一個背包（knapsack），像素值就是填入背包中的選項(xiàng)。而最好的像素值，就是能剛好填滿背包的最優(yōu)解。

　　如下圖，用最快的速度，計(jì)算哪些部分的像素是必需保留的，能最大程度上還原圖像特征。

　　但如果讓計(jì)算機(jī)用窮舉法列舉出算法，效率就會很慢。

　　0-1 背包問題，旨在用最少的步驟，列出每一步的最優(yōu)解，并不斷與新結(jié)果進(jìn)行對比。

　　這個算法的核心思想在于，子問題的最優(yōu)解，同樣可以用于解決母問題。

　　這樣，既能保留圖像的紋理結(jié)構(gòu)，又能讓圖像最大程度上模糊化。

　　歸根結(jié)底，0-1 背包的思想在于，一個像素值的最優(yōu)解，同樣可以被用于解決像素塊最優(yōu)解的問題。

　　這個算法，比暴力堆疊算力，窮舉像素最優(yōu)解的方法快多了。

　　如果用偽代碼簡單呈現(xiàn)的話，算法的步驟是這樣的：

　　這一算法基于 Matlab 實(shí)現(xiàn)。作者表示，由于 Python 的稀疏優(yōu)化比較捉急，目前沒能把 EAP 遷移到 Python 中。

　　與人類水平相當(dāng)

　　研究人員將 L0 和 L1 兩種平滑方式的結(jié)果，與專業(yè)人士的處理結(jié)果進(jìn)行了比較。

　　結(jié)果顯示，在擦除位置的選擇上，AI 的操作與專家的選擇相似，并且平滑結(jié)果與專家的處理結(jié)果表現(xiàn)相當(dāng)。

　　而消融實(shí)驗(yàn)的結(jié)果顯示：

　　（1）在原來的 L1 平滑中使用極端 lambda (10.0)，不使用 EAP，這會導(dǎo)致圖像結(jié)構(gòu)被破壞。

　　（2）重復(fù)原 L1 平滑多次（10 次，與 EAP 配置相同），不使用 EAP，這會導(dǎo)致低飽和度和低對比度偽影出現(xiàn)。

　　（3）在 EAP 方案中，不使用背包權(quán)重w_p，而是給背包的值設(shè)定一個固定的閾值（0.1），所有高于這個閾值的像素都會被視作擦除位置。這會導(dǎo)致圖像被壓縮成少數(shù)幾種顏色。

　　（4）在 EAP 方案中，用常數(shù)（1.0）代替所有背包權(quán)重w_p。這將導(dǎo)致所有不想要的圖案仍在最終結(jié)果中被保留。

　　（5）在 EAP 方案中，不使用 knapsak 值v_p，而是給背包的權(quán)重設(shè)定一個固定的閾值（0.1），所有低于這個閾值的像素都會被視作擦除位置。這會導(dǎo)致圖像中所有明顯的構(gòu)件都被消除。

　　（6）在 EAP 方案中，用常數(shù)（1.0）代替所有背包值v_p。這使得突出的構(gòu)件得以保留，但原有的結(jié)構(gòu)會被破壞。

　　（7）本文中提出的解決方案，能夠在不造成其他偽影的情況下，使圖像充分平滑。

　　另外，使用 PSNR（峰值信噪比）指標(biāo)，對幾種不同的平滑方法進(jìn)行對比。結(jié)果表明，基于 EAP 的方法 PSNR 值明顯高于其他方法，也就是說，實(shí)現(xiàn)了更徹底的紋理分解。

　　應(yīng)用場景

　　看到這樣的 AI 能力，你想到要在哪些場景中應(yīng)用它了嗎？

　　作者也舉了幾個例子。

　　比如，輕松實(shí)現(xiàn)紋理替換。

　　比如，給圖片調(diào)光影、調(diào)顏色。

　　就有網(wǎng)友表示：這不就是我一直想要的那種 AI 嘛！

　　也有網(wǎng)友聯(lián)想到了火爆二次元圈的那只上色 AIStyle2Paints。

鵝妹子嚶，所以這項(xiàng)技術(shù)會用到 Style2Paints V5 中嗎？

　　目前，這項(xiàng)研究的代碼已經(jīng)開源，如果感興趣，就戳進(jìn)文末鏈接試一試吧~

　　傳送門

　　GitHub 地址：

　　https://github.com/lllyasviel/AppearanceEraser

　　項(xiàng)目地址：

　　https://lllyasviel.github.io/AppearanceEraser/

總結(jié)

以上是生活随笔為你收集整理的你的二次元老婆，被AI变成了暗黑系的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。