近日，清華大學(xué)劉永進(jìn)教授課題組在 IEEE Transactions on Visualization and Computer Graphics 上發(fā)表論文，提出基于生成對抗神經(jīng)網(wǎng)絡(luò)的自然圖像多風(fēng)格卡通化方法，代碼在 Github 上開源。

論文標(biāo)題：

GAN-based Multi-Style Photo Cartoonization

論文鏈接：

https://doi.org/10.1109/TVCG.2021.3067201

代碼鏈接：

https://github.com/syz825211943/Multi-Style-Photo-Cartoonization

卡通畫是日常生活中喜聞樂見的一種藝術(shù)形式，不管是在影視作品還是在日常生活中都非常常見。很多卡通畫都是根據(jù)自然場景由藝術(shù)家精心繪制而成，耗時(shí)耗力；而一些現(xiàn)存的卡通畫生成算法也僅針對于單一卡通風(fēng)格設(shè)計(jì)，無法獲得風(fēng)格各異的卡通畫結(jié)果。論文提出了一種基于生成對抗神經(jīng)網(wǎng)絡(luò)的自然圖像多風(fēng)格卡通化方法，使用非成對數(shù)據(jù)集學(xué)習(xí)不同風(fēng)格的卡通風(fēng)格圖片繪制方式，幫助人們生成具有不同風(fēng)格的卡通圖片，定格生活中的精彩瞬間。?

論文首先針對多風(fēng)格卡通圖像轉(zhuǎn)換任務(wù)精心設(shè)計(jì)了網(wǎng)絡(luò)結(jié)構(gòu)，如圖 1 所示。Multi-Style CartoonGAN 的生成網(wǎng)絡(luò)由一個(gè)公用的編碼器和多個(gè)解碼器組成，其中編碼器用于提取輸入圖片的內(nèi)容，多個(gè)解碼器分別對應(yīng)于多種卡通風(fēng)格并進(jìn)行學(xué)習(xí)；判別網(wǎng)絡(luò)也包括多個(gè)判別器，與多個(gè)解碼器一一對應(yīng)，用于判斷輸入圖像是真實(shí)的卡通圖像還是生成網(wǎng)絡(luò)生成的卡通圖像；最后增加一個(gè)輔助分類器，幫助網(wǎng)絡(luò)更好的學(xué)習(xí)到不同風(fēng)格之間的區(qū)別。

▲ Multi-Style CartoonGAN的網(wǎng)絡(luò)結(jié)構(gòu)示意圖

論文在標(biāo)準(zhǔn)的對抗損失的基礎(chǔ)上，增加了邊緣模糊的對抗損失，突出卡通畫具有清晰邊緣的特點(diǎn)。同時(shí)，論文提出使用多層次的內(nèi)容約束，對不同分辨率下的輸入圖像與輸出圖像計(jì)算 L1 距離作為內(nèi)容約束以適應(yīng)不同卡通風(fēng)格平滑程度不同這一特點(diǎn)——這不僅保證了結(jié)果圖像與輸入圖像語義內(nèi)容上的一致性，也保留了不同風(fēng)格的繪制特點(diǎn)。最后增加了風(fēng)格損失，對不同卡通圖像分類后計(jì)算損失，擴(kuò)大不同風(fēng)格之間的區(qū)別。通過同時(shí)優(yōu)化這三項(xiàng)損失，使得生成網(wǎng)絡(luò)最終可以得到保留輸入圖片語義信息的多風(fēng)格卡通圖像轉(zhuǎn)換結(jié)果。?

針對于對抗神經(jīng)網(wǎng)絡(luò)非線性程度高，難以收斂的問題，我們使用初始化過程幫助網(wǎng)絡(luò)訓(xùn)練收斂，在初始化階段我們僅使用層次化的內(nèi)容約束對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在網(wǎng)絡(luò)能夠基本重構(gòu)出輸入圖片信息之后再進(jìn)行正式訓(xùn)練。此外，針對于 Multi-Style CartoonGAN 網(wǎng)絡(luò)的設(shè)計(jì)，我們在理論上證明了網(wǎng)絡(luò)設(shè)計(jì)的合理性與可實(shí)踐性。?

實(shí)驗(yàn)證明，論文提出的多風(fēng)格卡通化方法可以同時(shí)學(xué)習(xí)到多個(gè)卡通風(fēng)格的繪制方式，在保留輸入圖片內(nèi)容信息的基礎(chǔ)上完成不同卡通風(fēng)格的轉(zhuǎn)換。圖 2 給出了 Multi-Style CartoonGAN 與多種單風(fēng)格轉(zhuǎn)換方法的對比結(jié)果，圖中 Gatys (image 1) 為標(biāo)準(zhǔn)的 NST 結(jié)果，我們將與輸入圖像內(nèi)容相近的圖片作為風(fēng)格圖像進(jìn)行學(xué)習(xí)；Gatys (collection) 為改進(jìn)的 NST 結(jié)果，使用訓(xùn)練集內(nèi)的所有卡通圖像計(jì)算平均風(fēng)格特征進(jìn)行風(fēng)格遷移； 是使用了身份損失的 CycleGAN 版本；UNIT，GDWCT 是另外兩種代表性的單風(fēng)格轉(zhuǎn)換算法。

▲ 圖2. Multi-Style CartoonGAN與NST，CycleGAN，UNIT與GDWCT的對比結(jié)果。第一列為輸入的自然圖像，后六列為對比算法以及Multi-Style CartoonGAN的對比結(jié)果。圖中前兩行由宮崎駿《千與千尋》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；中間兩行由新海誠風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；最后兩行由法國動(dòng)畫《悠長假日》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到。

盡管這些單風(fēng)格算法都需要訓(xùn)練多次才能得到多個(gè)卡通風(fēng)格的轉(zhuǎn)換結(jié)果，但是效果仍然不如 Multi-Style CartoonGAN，而我們的算法只需要訓(xùn)練一次就可得到多種卡通風(fēng)格轉(zhuǎn)換結(jié)果。圖 3 展示了 Multi-Style CartoonGAN 與單風(fēng)格的卡通圖像生成算法 CartoonGAN 相比的結(jié)果，我們利用了多風(fēng)格卡通畫的結(jié)構(gòu)優(yōu)勢也得到了更為理想的結(jié)果——內(nèi)容保持更好，線條更明顯，色塊更平滑。

▲?圖3. Multi-Style CartoonGAN與單風(fēng)格CartoonGAN的比較結(jié)果。第一列為輸入的自然圖像，圖中第二、三列由宮崎駿《千與千尋》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；第四、五列由新海誠風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；最后兩列由法國動(dòng)畫《悠長假日》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到。

最后與多風(fēng)格風(fēng)格轉(zhuǎn)換算法 (MUNIT，ComboGAN) 相比，我們的結(jié)果也具有更理想的卡通特征與質(zhì)量，結(jié)果見圖 4。

▲?圖4：Multi-Style CartoonGAN與MUNIT，ComboGAN的比較結(jié)果。第一列為輸入的自然圖像，后三列為對比算法以及Multi-Style CartoonGAN的對比結(jié)果。圖中第一行由宮崎駿《千與千尋》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；中間一行由新海誠風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到；最后一行由法國動(dòng)畫《悠長假日》風(fēng)格訓(xùn)練集中的圖片訓(xùn)練得到。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識真正流動(dòng)起來。

📝?稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時(shí)聯(lián)系方式（微信），以便我們在稿件選用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

·

總結(jié)

以上是生活随笔為你收集整理的​清华大学提出基于生成对抗神经网络的自然图像多风格卡通化方法并开源代码...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。