魚羊發自凹非寺

　　量子位報道公眾號 QbitAI

　　相關文章：大谷新作！AI 還原「王之霸氣」朱元璋，杜甫傾情獻唱奧特曼主題曲

　　霍格沃茨的同學們都知道，想要進入格蘭芬多休息室，得先過胖夫人這一關。

　　所以，會說話的照片/畫像它科學嗎？

　　其實，在 AI 時代的麻瓜世界里，這早就不算事兒了。

　　不信，你看看這個激情演唱迪迦奧特曼主題曲《奇跡再現》的杜甫：

　　

　　△網友：0202 年，杜甫越來越忙了

　　還有這個目光如炬，侃侃而談的明太祖朱元璋：

　　以及從大秦帝國穿越而來的這位大哥：

　　誰見了不得喊一句：鵝妹子嚶。

　　想必你已經猜到了，這樣的「魔法」依然是由 AI 帶來，涉及的技術包括圖像生成、運動估計等等。

　　而打造這些作品的，就是那位給 100 年前的北平城上色的獨立藝術家、微博博主@大谷 Spitzer。

　　就僅僅在 8 月份月，@大谷 Spitzer 在微博上先后被@人民日報 、@央視新聞、@頭條新聞等諸多媒體和微博大號“點名”，粗略統計微博上關于他的視頻總播放量達數千萬。

　　用一個時下熱門的詞來說，@大谷 Spitzer 這位原本將自己定位為“游戲”的博主，憑借 AI 還原技術一夜之間在微博“出圈”了。

　　背后的 AI 黑科技

　　那么，AI 具體是怎么讓這些藝術作品動起來的呢？

　　大谷介紹，基于 YouTube 大神 Denis Shiryaev 的教程，他這次用到的 AI 項目分別是（鏈接見文末）：

• Artbreeder

• StyleGAN-Art

• Realistic-Neural-Talking-Head-Models

• First-Order-Model（加文章超鏈）

• DAIN

• Topaz Labs

　　Artbreeder

　　Artbreeder 是一個基于生成對抗網絡（GAN）技術的在線圖像生成網站。

　　在 Artbreeder 上，用戶可以通過調整滑塊，來創建不同風格的人像、動畫。

　　StyleGAN-Art

　　StyleGAN 是英偉達在 2018 年發布的人臉生成模型，支持 2014×1024 的高清大圖生成。

　　并在 2019 年升級成為了效果更加逼真、無暇的 StyleGAN2。

　　StyleGAN-Art 則是經過了特殊調教的 StyleGAN，專注于肖像畫的生成。效果是醬嬸的：

　　Realistic-Neural-Talking-Head-Models

　　這項研究來自莫斯科三星 AI 中心和斯科爾科沃科學技術研究所。

　　只需要少量圖像樣本，就能學習到高度逼真和個性化的目標人物面部模型。甚至對于肖像畫也一樣適用。

　　First-Order-Model

　　一張名人照片，加上隨便一段視頻，就能讓照片里的人物分分鐘動起來。

　　比如輸入一段川普的視頻，原本靜止在畫面中的史塔克們，也忍不住跟著動了起來。

　　這就是來自意大利特倫托大學的「First-Order-Model」。

　　DAIN

　　DAIN 是上海交通大學開發的插幀算法，能把 30fps 的視頻一口氣插幀到 480fps，讓視頻絲滑流暢，毫無卡頓。

　　

　　△看琦玉老師這絲滑的披風

　　并且，這項技術不僅適用于真實拍攝的視頻，電影、定格動畫、動漫都能搞定。

　　Topaz Labs

　　Topaz Labs 的能力，是基于機器學習技術和 trimap 技術，增加照片的分辨率，補充像素細節。

　　提供添加蒙版，AI 色彩、細節增強，AI 降噪，無損失放大等功能。

　　不過，這是一系列收費軟件。

　　當然，除了這些 AI 黑科技，作者的耐心調教也是不可或缺的。

　　大谷本人也在接受新京報采訪時坦承，制作過程中，翻車的例子也不少。

　　沒有點亮 AI 技能點怎么辦？

　　最后的最后，還有一個問題：

　　如果沒有點亮 AI 技能點，就不能親自體驗這樣的「魔法時刻」了嗎？

　　或許，你可以期待一下 Adobe 的產品。

　　在去年的 Adobe MAX 大會上，Adobe 露了這么一手：加入音軌，畫中人就能一鍵對口型。

　　哪怕只是簡筆畫，也能被賦予自然的動態。

　　Adobe 表示，在不遠的將來，這樣的功能可能會出現在 Adobe 全家桶里面，作為新增功能或新產品出現。

　　介時，穿越到哈利波特的世界還不是分分鐘的事？（狗頭）

　　傳送門

　　完整視頻：

　　https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment

　　https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

　　Artbreeder：

　　https://www.artbreeder.com/

　　StyleGAN-Art：

　　https://github.com/ak9250/stylegan-art

　　Realistic-Neural-Talking-Head-Models：

　　https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models

　　https://arxiv.org/abs/1905.08233

　　First-Order-Model：

　　https://github.com/AliaksandrSiarohin/first-order-model

　　https://arxiv.org/abs/2003.00196

　　DAIN：

　　https://github.com/baowenbo/DAIN

　　https://sites.google.com/view/wenbobao/dain

總結

以上是生活随笔為你收集整理的杜甫在线演唱《奇迹再现》、兵马俑都能开口说话… 网友用AI技术分分钟打破次元壁的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。