點(diǎn)擊上方“邁微電子研發(fā)社”，選擇“星標(biāo)★”公眾號(hào)

重磅干貨，第一時(shí)間送達(dá)

是不是很好奇，百年前的北京是什么樣子？

最近，一位叫大谷Spitzer的微博網(wǎng)友，將人民日?qǐng)?bào)發(fā)布的1920年北京黑白影像資料，利用AI技術(shù)做了修復(fù)工作：上色、修復(fù)幀率、擴(kuò)大分辨率等處理，并加了合適的配音。

這些步驟底層蘊(yùn)含的技術(shù)應(yīng)該都是生成對(duì)抗網(wǎng)絡(luò)（GAN），其中第一項(xiàng)用的應(yīng)該是某種圖像風(fēng)格轉(zhuǎn)換技術(shù)，第二項(xiàng)是時(shí)序“超分辨率”以提升視頻幀率，第三項(xiàng)用的是某種圖像超分辨率技術(shù)。

這部100多年前的視頻中的人和物都顯得那么的真實(shí)，100年前的人，如今斗轉(zhuǎn)星移，物似人非。不禁感嘆人生如夢(mèng)幻泡影，如夢(mèng)亦如電。我們通過(guò)對(duì)影像的觀看可以看出修復(fù)效果不錯(cuò)，配音選擇上也很用心，首先為這個(gè)工作點(diǎn)贊！

如此工作滿足了大批網(wǎng)友的好奇心，視頻一經(jīng)發(fā)布便得到了大量的關(guān)注：分享超過(guò)12萬(wàn)次、評(píng)論3萬(wàn)+、點(diǎn)贊5萬(wàn)+。

有網(wǎng)友評(píng)論到：

視頻里人怎么也想象不到，一百年后會(huì)有一個(gè)人躺在床上拿著一個(gè)神奇的物品能夠觀察到他們當(dāng)時(shí)的一舉一動(dòng)吧?？茖W(xué)和巫術(shù)果然就是一線之隔。

還有網(wǎng)友贊嘆道：

Wow~ 一百年前的vlog。

不是概念的，宏觀的，文字的，被描述的，被審視的。完全打破我的模糊想象，被觸動(dòng)了。

當(dāng)然，還有感慨二環(huán)不堵了的……

話不多說(shuō)，一起來(lái)體驗(yàn)下吧。（完整視頻在文末）

時(shí)光旅行，體驗(yàn)100年前的北京生活

1920年的北京，入城出城的“客流”還算較多，有騎馬的、有坐轎子的、有坐人力車的，當(dāng)然多數(shù)人還是步行。

而在城內(nèi)集市中，也是熙熙攘攘，好不熱鬧。當(dāng)然，在那個(gè)年代，人們應(yīng)該是對(duì)錄影設(shè)備感到非常新奇了，圖中的小哥駐足了良久，癡癡的看著鏡頭。

路邊街頭的小吃生意也是不錯(cuò)(看完想來(lái)一屜小籠包了……)

寺廟里燒香拜佛的人們絡(luò)繹不絕，當(dāng)時(shí)的香火可比現(xiàn)在要鼎盛啊。

但細(xì)心的網(wǎng)友也發(fā)現(xiàn)：除了寺廟，在大街上很少看見女人。

再來(lái)到巷子里的百姓生活，這一段很好的展示了當(dāng)時(shí)社會(huì)的禮俗。

真是百年巨變，沒想到一百年前這么懂禮節(jié)。

當(dāng)然，還有網(wǎng)友表示：100年了，狗狗長(zhǎng)得還是一樣的……哈哈哈

最后，讓我們一起來(lái)俯瞰百年前的北京城。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

AI修復(fù)百年古董老電影

雖然博主大谷Spitzer沒有介紹具體采用了哪些AI技術(shù)，但其實(shí)修復(fù)老電影的工作也有許多。

今年2月，國(guó)外網(wǎng)友Denis Shiryaev利用一種增強(qiáng)程序(Gigapixel AI)，將1896年的古董電影《火車進(jìn)站》，轉(zhuǎn)變成了4K 60fps高清“大電影”。

在修復(fù)幀率方面，主要采用的技術(shù)是AI插值。

據(jù)Shiryaev介紹，他采用的是一種叫做Gigapixel AI的商業(yè)圖像編輯軟件(付費(fèi))。這款軟件由Topaz實(shí)驗(yàn)室創(chuàng)造，可以讓圖像的質(zhì)量提升600%。

它利用一種專有的插值算法，對(duì)圖像做分析、識(shí)別其細(xì)節(jié)和結(jié)構(gòu)，最后將額外的“信息”填充到圖像中。

這個(gè)工作量是什么概念？

普通的高清是1920×1080，總像素為2073600，而4K高清是3840x2160，總像素是8294400。

也就是說(shuō)，光是要把普通高清提升到4K高清，就需要額外填充600萬(wàn)個(gè)像素。

不僅如此，還需要弄清楚如何顯示這些額外的像素，這就是插值過(guò)程的用武之地。

插值估計(jì)每個(gè)新像素要顯示什么內(nèi)容，這個(gè)過(guò)程是基于它們周邊的像素。對(duì)于這一點(diǎn)，有許多方法可以來(lái)衡量。

最近鄰?(Nearest Neighbor)方法，會(huì)簡(jiǎn)單地用與其最近鄰相同的顏色填充空白像素。它雖然簡(jiǎn)單而有效，但結(jié)果是一個(gè)鋸齒狀、明顯像素化的圖像。

雙線性插值?(Bilinear Interpolation)方法需要更多的處理能力，但它基于最近的兩個(gè)像素來(lái)分析空白像素，并在它們之間生成一個(gè)梯度，這會(huì)讓圖像變得更加清晰。

而雙三次插值?(Bicubic Interpolation)會(huì)對(duì)其16個(gè)最近鄰像素進(jìn)行了采樣，這樣就會(huì)讓著色變得精確，但仍然存在圖像模糊的問(wèn)題。

通過(guò)結(jié)合雙線性插值和雙三次插值，就可以生成光學(xué)質(zhì)量損失最小的放大圖像。而這一過(guò)程，Gigapixel AI利用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)完成。

解決了像素低的問(wèn)題，還需要解決視頻卡頓問(wèn)題。

Gigapixel AI在關(guān)鍵幀之間進(jìn)行“想像”之后，把這些想像出來(lái)的幀插進(jìn)去。而它插入的幀數(shù)多到可以讓視頻速率提高到60 FPS。

這就是古董電影也能變得如此清晰、流暢的原因。

至于著色工作，同樣是利用神經(jīng)網(wǎng)絡(luò)，從一堆彩色照片開始，將它們轉(zhuǎn)換成黑色和白色，然后再重建彩色原圖。

老片修復(fù)技術(shù)現(xiàn)狀

近幾年，AI在視頻的數(shù)字化修復(fù)方面成果十分顯著。像《紅樓夢(mèng)》《三國(guó)演義》《開國(guó)大典》和《紅巖》這些經(jīng)典的老電影，因?yàn)槟甏眠h(yuǎn)，在今天的影視播放工具上放映時(shí)，清晰度太低，有時(shí)根本沒法看。

在老片修復(fù)領(lǐng)域，人工智能技術(shù)的運(yùn)用可謂是一個(gè)從無(wú)到有的過(guò)程。

愛奇藝高級(jí)總監(jiān)劉俊暉在接受《文匯報(bào)》采訪時(shí)解釋道，在AI開始“工作”之前，它必須經(jīng)過(guò)大量的學(xué)習(xí)來(lái)搭建模型和推演算法：一方面，對(duì)照人工修復(fù)前后的影片；另一方面，在清晰的片子上加糊、加噪，人為模擬老片。通過(guò)這些基本素材，超分辨率、去噪銳化、修復(fù)污跡、色彩增強(qiáng)成為了人工智能技術(shù)助力老片修復(fù)的“基本技能”。

劃痕修復(fù)、畫面調(diào)色等仍需人工操作，AI修復(fù)電影需要完善技術(shù)

仔細(xì)的觀眾會(huì)在@大谷Spitzer視頻開頭畫面旁的小字留意到這樣一句話：“色彩為AI自我學(xué)習(xí)結(jié)果，不代表歷史原色?！?/strong>這側(cè)面反映了AI修復(fù)老片的一項(xiàng)技術(shù)瓶頸，即機(jī)器本身不具備藝術(shù)鑒賞能力，對(duì)于調(diào)色等主觀的藝術(shù)創(chuàng)作，還需要人工來(lái)進(jìn)行把握。