小伙用智能 AI 修复100 年前京城的老视频
簡介:?近日,一個“修復老北京街道”的視頻刷屏全網。一段由加拿大攝影師在 100 年前的北京被 AI 修復后,活靈活現地展現在人們面前,一百年前人們打招呼的方式、使用的樂器、交通工具,在這段視頻中,都清晰可見。
近日,一個“修復老北京街道”的視頻刷屏全網。一段由加拿大攝影師在 100 年前的北京被 AI 修復后,活靈活現地展現在人們面前,一百年前人們打招呼的方式、使用的樂器、交通工具,在這段視頻中,都清晰可見。配上頗合時宜的音樂,24 小時內,已經有了將近 50 萬的點贊量,10 萬多次的轉發,接近 3 萬的留言,看來周六大家也有在好好工作啊。
這個視頻來自一位名叫“大谷Spitzer”的博主,據他所說,接觸老片修復是一個偶然,整個項目也只花了 7 天時間就順利完成了。
先來一起看看這驚人的修復效果。
👇老視頻👇
👇修復后效果👇
修復后的視頻把當時的北京城演繹的活靈活現,下邊的片段中,左下角👇小哥呆呆的看著鏡頭,連細微的表情都清晰可見,青澀中帶有一點可愛,想象一下這位憨厚的小哥來自一百年前,還是讓文摘菌感慨萬千。
怪不得網友們紛紛贊嘆。有網友表示,不僅整體氛圍沒話說,連細節部分也分毫畢顯,“每個人臉上都是新奇又不敢接近的表情”。
甚至有網友留言表示,“博物館應該收藏你的作品”!
博主在視頻最開始就說道,想用技術為社會做一些有意義的事情,懷著仰慕的心情,文摘菌聯系到了這位“大谷Spizer”,來看看他是怎么說的吧~
7 天完工,難在顯卡!整體滿意,顏色上還有不足
自稱將 AI 視為業余愛好的大谷如今身在紐約,接受文摘菌采訪的時候,他感嘆道,自己做 AI 科普視頻做了七年,沒想到一下子火了,現在完全處于“被信息淹沒”的狀態。
大谷透露道,其實這次接觸老片修復純屬偶然,在搜索其他資料時候,偶然間在 YouTube 看到了人民日報上傳的一段老北京視頻,對其中對視鏡頭的部分十分有感觸,“有一種穿越時空的感覺”。同時,一想到一百年前的人們有那個年代的思想,看問題的角度和現代有所差別,是很有趣的體驗,自己恰好了解相關技術,為何不將老片上色補幀,做成活靈活現的 60 幀,和大家分享呢?
具體到操作上,根據大谷介紹,可以大致分為補幀、擴分辨率、上色三個環節,每個環節也都用了不同的工具,整體框架的流程則主要參考了 Denis Shiryaev 在社交媒體上分享的經驗貼。
大谷說道,整個項目只用了 7 天時間,大部分都是硬性的時間消耗,比如補幀需要一到兩天,擴分辨率至少一天,上色也需要花費一天時間,再加上要做到 4K60fps,渲染速度很慢。多方考量之下,他把人民日報 14 分鐘的原片剪到了 10 分鐘。
相比而言,去年國慶 164 分鐘修復版《開國大典》讓人們親眼目睹三次戰役勝利到開國大典的歷史過程。除了借助 AI,膠片的撕裂、劃痕等都是專業的修復師一幀一幀地修補。“修復過程中,我們70%的時間都在完成資料片鏡頭的修復工作。”負責本片修復工作的三維六度公司的首席技術官周蘇岳說道,雖然修復時間只用了 40 天,但這卻是 600 人每天工作 20 小時的奮戰結果!
在視頻中,相信大家也會看到時不時會出現顏色跳來跳去的情況,大谷表示,在補幀之前用工具把老電影中經常出現的畫面閃爍去掉了,否則會更嚴重,整體的色彩上,AI 的渲染效果也明顯偏淡。
除此之外,大谷這次利用的是國外的一套模型,顯然無法直接將其套用到 100 年前的中國影片修復上,在顏色上就無法做到歷史性的準確,視頻中的上色都是AI學習的成果,雖然膚色大致還原了,但是在紅綠服裝等方面的真實性還有待商榷。
也正是考慮到這些不足,大谷對去年參與《開國大典》修復的工作人員表達了敬意,“AI 沒辦法做到藝術家那么準確,尤其是在歷史方面,而《開國大典》對歷史準確性的要求更高”,隨后他也打趣地說道,或許可以“讓 AI 看看清宮劇,提升一下準確率”。
就像大谷在視頻開頭所說,他想用技術做一些對社會有意義的事,在這次視頻爆紅之后,他表現得相當豁達,“太深刻的大意義倒也說不上”,主要是想借此讓人們對歷史有所反思。不少網友指出,視頻中幾乎看不到女性,這正是歷史生動性的體現,既有光鮮也有不足,讓大家意識到現在的生活是多么來之不易。
同時,作為老北京人,大谷也想通過視頻分享他的切身感受,讓更多人看到一百年前的民俗,尤其是上了色幀數提高之后,“感覺確實不一樣,也感慨這一百年的變化”。
對于目前收到得反饋,大谷表示“完全沒想到”,他看了很多評論,也受感觸于一些留言,還有人私信向他表示,給太姥姥看后,也很懷念那個年代。
大谷透露道,這其實是他第一次嘗試做視頻修復,后續或許會出一期視頻介紹一下具體的操作。對于后續的視頻更新計劃,他想要介紹一下國內已經成熟的語音修復技術。
目前,大谷在研究一款換衣 AI,通過把模特導入系統,在 Photoshop 里換好衣服,就能生成模特穿上衣服的各種姿勢,聽上去是淘寶賣家會喜歡的 AI。不過,大谷介紹道,這個AI目前還處于“嬰兒狀態”,精度上不是很樂觀,未來需要大量的訓練,以后或許也會做個視頻介紹一下。
AI 助力,老片修復一直在路上
對于這次用到的技術,大谷表示,上色主要還是應用在黑白照片和電影上,補幀技術就可以遍地開花了,比如修復像素動畫的跳幀問題,或者在動畫領域加以應用,因為動畫很多是 12 幀/秒,甚至 6 幀/秒,補幀之后效果很好,也終于可以看更流暢的 EVA 了。
Denis Shiryaev通過神經網絡修復老視頻的內容今年在油管爆紅了一陣子,他使用Topaz Labs的Gigapixel AI和DAIN圖像編輯應用程序將1896膠片縮放到4K分辨率,不僅將素材增加到4K,還將幀率提高到每秒60幀。
Shiryaev最火的作品是用Gigapixel AI將1896年拍攝的50秒無聲短片《火車進站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清畫質,完全符合當下的高清視頻標準!
盡管存在一些缺陷,如圖像會出現跳躍或某些細節依舊模糊,但已經很棒了!為了使這一作品更加完整,Shiryaev還為這部無聲電影添加了聲音。
這些圖像是通過生成對抗網絡(GANs)得來的。
科普一下,GANs是由兩個相反的神經網絡組成的。第一個網絡基于訓練對象的數據生成對象,而第二個的作用是確定對象的真實性。第一個網絡通過不斷嘗試,直到它的作品完美到足以欺騙第二個網絡。通過這種方式,才得以生成最有可能的圖像。
Gigapixel AI軟件使用一種專有的插值算法來分析圖像,它可以使圖像更清晰,甚至在放大了600%之后。
再來說說DAIN(深度感知視頻幀插值),它可以將幀想象并插入現有視頻剪輯的關鍵幀之間。換句話說,DAIN首先分析并映射視頻片段,然后插入在現有圖像之間生成填充圖像。這與4K電視的運動平滑功能是同一個概念。為了在這段1896年的視頻中達到同樣的效果,Shiryaev添加了足夠多的圖像來將速度提高到60幀每秒。因此,DAIN自動生成,然后在最初記錄的24張圖像之外,每秒添加36張額外的圖像。
Shiryaev的 “火車”的視頻修復版本看起來像是一部使用智能手機或GoPro拍攝的最新電影。與原始視頻相比,效果非常驚人,尤其是在新版本中獲得了流暢性。列車上的陽光反射和月臺上的女士珠寶都被記錄的很完整,也許是最顯著的改進之一。
Shiryaev也用神經網絡對這一修復視頻進行了著色:從一堆彩色照片開始,將它們轉換為黑白,然后訓練神經網絡以重建彩色原稿。
除了上文提到的《開國大典》,在老片修復上,“中影·神思”的開發,能縮短修復電影所需時間的四分之三,成本可以減少一半,目前已成功應用于《厲害了,我的國》《血色浪漫》《亮劍》等多部影視劇的圖像修復與增強當中。
愛奇藝也推出了其自主研發的視頻增強技術ZoomAI,為電影修復提出解決方案,這是業內第一個利用較低成本、將深度學習技術應用在視頻畫質增強場景中的方案。但不可否認的是,這種技術如果被有惡意的人使用,例如,可以用于制作“偽造品”并允許視頻中的身份盜用,也會導致巨大的社會問題。
總結
以上是生活随笔為你收集整理的小伙用智能 AI 修复100 年前京城的老视频的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 共享快递柜业务场景实战(服务构建)
- 下一篇: 超详解析Flutter渲染引擎|业务想创