Google 超分辨率技術(shù) RAISR：模糊圖片瞬間變清晰，運(yùn)算速度快十倍

Everyday the web is used to share and store millions of pictures, enabling one to explore the world, research new topics of interest, or even share a vacation with friends and family. However, many of these images are either limited by the resolution of the device used to take the picture, or purposely degraded in order to accommodate the constraints of cell phones, tablets, or the networks to which they are connected. With the ubiquity of high-resolution displays for home and mobile devices, the demand for high-quality versions of low-resolution images, quickly viewable and shareable from a wide variety of devices, has never been greater.With “RAISR: Rapid and Accurate Image Super-Resolution”, we introduce a technique that incorporates machine learning in order to produce high-quality versions of low-resolution images. RAISR produces results that are comparable to or better than the currently available super-resolution methods, and does so roughly 10 to 100 times faster, allowing it to be run on a typical mobile device in real-time. Furthermore, our technique is able to avoid recreating the aliasing artifacts that may exist in the lower resolution image.Upsampling, the process of producing an image of larger size with significantly more pixels and higher image quality from a low quality image, has been around for quite a while. Well-known approaches to upsampling are linear methods which fill in new pixel values using simple, and fixed, combinations of the nearby existing pixel values. These methods are fast because they are fixed linear filters (a constant convolution kernel applied uniformly across the image). But what makes these upsampling methods fast, also makes them ineffective in bringing out vivid details in the higher resolution results. As you can see in the example below, the upsampled image looks blurry – one would hesitate to call it enhanced.

Left: Low-res original, Right: simple (bicubic) upsampled version (2x). Image Credit:Masa Ushioda/Seapics/Solent News

With RAISR, we instead use machine learning and train on pairs of images, one low quality, one high, to find filters that, when applied to selectively to each pixel of the low-res image, will recreate details that are of comparable quality to the original. RAISR can be trained in two ways. The first is the "direct" method, where filters are learned directly from low and high-resolution image pairs. The other method involves first applying a computationally cheap upsampler to the low resolution image (as in the figure above) and then learning the filters from the upsampled and high resolution image pairs. While the direct method is computationally faster, the 2nd method allows for non-integer scale factors and better leveraging of hardware-based upsampling.For either method, RAISR filters are trained according toedge features found in small patches of images, - brightness/color gradients, flat/textured regions, etc. - characterized bydirection (the angle of an edge), strength (sharp edges have a greater strength) andcoherence (a measure of how directional the edge is). Below is a set of RAISR filters, learned from a database of 10,000 high and low resolution image pairs (where the low-res images were first upsampled). The training process takes about an hour.

Collection of learned 11x11 filters for 3x super-resolution. Filters can be learned for a range of super-resolution factors, including fractional ones. Note that as the angle of the edge changes, we see the angle of the filter rotate as well. Similarly, as the strength increases, the sharpness of the filters increases, and the anisotropy of the filter increases with rising coherence.

From left to right, we see that the learned filters correspond selectively to the direction of the underlying edge that is being reconstructed. For example, the filter in the middle of the bottom row is most appropriate for a strong horizontal edge (gradient angle of 90 degrees) with a high degree of coherence (a straight, rather than a curved, edge). If this same horizontal edge is low-contrast, then a different filter is selected such one in the top row.In practice, at run-time RAISR selects and applies the most relevant filter from the list of learned filters to each pixel neighborhood in the low-resolution image. When these filters are applied to the lower quality image, they recreate details that are of comparable quality to the original high resolution, and offer a significant improvement to linear, bicubic, orLanczos interpolation methods.

Top: RAISR algorithm at run-time, applied to a cheap upscaler’s output.Bottom: Low-res original (left), bicubic upsampler 2x (middle), RAISR output (right)

Some examples of RAISR in action can be seen below:

Top: Original, Bottom: RAISR super-resolved 2x.Original image from Andrzej Dragan

Left: Original, Right: RAISR super-resolved 3x. Image courtesy ofMarc Levoy

One of the more complex aspects of super-resolution is getting rid ofaliasing artifacts such asMoire patterns andjaggies that arise when high frequency content is rendered in lower resolution (as is the case when images are purposefully degraded). Depending on the shape of the underlying features, these artifacts can be varied and hard to undo.

Example of aliasing artifacts seen on the lower right (Image source)

Linear methods simply can not recover the underlying structure, but RAISR can. Below is an example where the aliased spatial frequencies are apparent under the numbers 3 and 5 in the low-resolution original on the left, while the RAISR image on the right recovered the original structure. Another important advantage of the filter learning approach used by RAISR is that we can specialize it to remove noise, or compression artifacts unique to individual compression algorithms (such as JPEG) as part of the training process. By providing it with examples of such artifacts, RAISR can learn to undo other effects besides resolution enhancement, having them “baked” inside the resulting filters.

Left: Low res original, with strong aliasing. Right: RAISR output, removing aliasing.

Super-resolution technology, using one or many frames, has come a long way. Today, the use of machine learning, in tandem with decades of advances in imaging technology, has enabled progress in image processing that yields many potential benefits. For example, in addition to improving digital “pinch to zoom” on your phone, one could capture, save, or transmit images at lower resolution and super-resolve on demand without any visible degradation in quality, all while utilizing less of mobile data and storage plans. To learn more about the details of our research and a comparison to other current architectures, check outour paper, which will appear soon in theIEEE Transactions on Computational Imaging.

　　每天都有數(shù)以百萬(wàn)計(jì)的圖片在網(wǎng)絡(luò)上被分享、儲(chǔ)存，用戶借此探索世界，研究感興趣的話題，或者與朋友家人分享假期照片。問(wèn)題是，大量的圖片要嘛被照相設(shè)備的像素所限制，要嘛在手機(jī)、平板或網(wǎng)絡(luò)限制下被人為壓縮，降低了畫(huà)質(zhì)。

　　如今高分辨率顯示屏幕正在家庭和移動(dòng)設(shè)備上普及，因此，把低分辨率圖片轉(zhuǎn)化為高清晰版本，并可在多種設(shè)備上查看和分享，正在成為一項(xiàng)巨大的需求。日前，Google 推出了一項(xiàng)新技術(shù) RAISR，其全稱是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術(shù)”。

　　RAISR 這項(xiàng)技術(shù)能利用機(jī)器學(xué)習(xí)，把低分辨率圖片轉(zhuǎn)為高分辨率圖片。它的效果能達(dá)到甚至超過(guò)現(xiàn)在的超分辨率解決方案，同時(shí)速度提升大約 10 至 100 倍，且能夠在普通的移動(dòng)設(shè)備上運(yùn)行。而且，Google 的技術(shù)可以避免產(chǎn)生混疊效應(yīng)（aliasing artifacts）。

　　之前已經(jīng)具有透過(guò)升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫(huà)質(zhì)圖片的技術(shù)。最廣為人知的升采樣方式是線性方法，即透過(guò)把已知的像素值進(jìn)行簡(jiǎn)單、固定的組合，以添加新的像素值。因?yàn)槭褂霉潭ǖ木€性過(guò)濾器（一個(gè)恒定卷積核對(duì)整個(gè)圖片的無(wú)差別處理），該方法速度很快。但是它對(duì)于重建高清作品里生動(dòng)的細(xì)節(jié)有些力不從心。正如下面這張圖片，升采樣的圖片看起來(lái)很模糊，很難稱得上畫(huà)質(zhì)提升。

　　

　　▲ 左為原始圖片；右為升采樣處理后圖片。

　　對(duì)于 RAISR，Google 另辟蹊徑得采用機(jī)器學(xué)習(xí)，用一對(duì)低分辨率、高分辨率圖片訓(xùn)練該程序，以找出能選擇性應(yīng)用于低分辨率圖片中每個(gè)像素的過(guò)濾器，這樣能生成媲美原始圖片的細(xì)節(jié)。目前有兩種訓(xùn)練 RAISR 的方法：

• 第一種是“直接”方式，過(guò)濾器在成對(duì)高、低分辨率圖片中直接學(xué)習(xí)。
• 第二種方法需要先對(duì)低分辨率圖片應(yīng)用低功耗的的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學(xué)習(xí)過(guò)濾器。
• “直接”方式處理起來(lái)更快，但第二種方法照顧到了非整數(shù)范圍的因素，并且更好地利用硬件性能。

　　無(wú)論是哪種方式，RAISR 的過(guò)濾器都是根據(jù)圖像的邊緣特征訓(xùn)練的：亮度和色彩梯度、平實(shí)和紋理區(qū)域等。這又受到方向（direction，邊緣角度）、強(qiáng)度（strength，更銳利的邊緣強(qiáng)度更高）和黏性（coherence，一項(xiàng)量化邊緣方向性的指標(biāo)）的影響。以下是一組 RAISR 過(guò)濾器，從一萬(wàn)對(duì)高、低分辨率圖片中學(xué)習(xí)得到（低分辨率圖片經(jīng)過(guò)升采樣）。該訓(xùn)練過(guò)程耗費(fèi)約 1 小時(shí)。

　　

　　注：3 倍超分辨率學(xué)習(xí)，獲得的 11×11 過(guò)濾器集合。過(guò)濾器可以從多種超分辨率因素中學(xué)習(xí)獲得，包括部分超分辨率。注意當(dāng)圖中邊緣角度變化時(shí)，過(guò)濾器角度也跟著旋轉(zhuǎn)。相似的，當(dāng)強(qiáng)度提高時(shí)，過(guò)濾器的銳利度也跟著提高；黏性提高時(shí)，過(guò)濾器的非均相性（anisotropy）也提高。

　　從左至右，學(xué)習(xí)得到的過(guò)濾器與處理后的邊緣方向有選擇性的呼應(yīng)。舉例來(lái)說(shuō)，最底一行中間的過(guò)濾器最適合強(qiáng)水平邊緣（90 度梯度角），并具有高黏性（直線的而非彎曲的邊緣）。如果這個(gè)水平邊緣是低對(duì)比度的，那么如同圖中最上一行，另一個(gè)過(guò)濾器就被選擇。

　　實(shí)際使用中，RAISR 會(huì)在已經(jīng)學(xué)習(xí)到的過(guò)濾器列表中選擇最合適的過(guò)濾器， 應(yīng)用于低分辨率圖片的每一個(gè)像素周圍。當(dāng)這些過(guò)濾器被應(yīng)用于更低畫(huà)質(zhì)的圖像時(shí)，它們會(huì)重建出相當(dāng)于原始分辨率的細(xì)節(jié)，這大幅優(yōu)于線性、雙三（bicubic）、蘭索斯（Lancos）解析方式。

　　

　　▲ RAISR 演算法運(yùn)行圖式下：原始圖像（左），2 倍雙三解析（中），RAISR 效果（右）。

　　一些運(yùn)用 RAISR 進(jìn)行圖片增強(qiáng)的范例：

　　

　　▲ 上：原始圖片，下：RAISR 2 倍超分辨率效果。

　　

　　▲ 左：原始圖片，右：RAISR 3 倍超分辨率效果。

　　超分辨率技術(shù)更復(fù)雜的地方在于如何避免混疊效應(yīng)，例如龜紋（Moire patterns）和高頻率內(nèi)容在低分辨率下渲染產(chǎn)生的鋸齒（對(duì)圖像人為降級(jí)的情形）。這些混疊效應(yīng)的產(chǎn)物會(huì)因?qū)?yīng)部分的形狀不同而變化，并且很難消除。

　　

　　▲ 左：正常圖像；右：右下角有龜紋（混疊效應(yīng)）的圖像。

　　線性方法很難恢復(fù)圖像結(jié)構(gòu)，但是 RAISR 可以。下面是一個(gè)例子，左邊是低分辨率的原始圖片，左 3 和左 5 有很明顯的空間頻率混淆（aliased spatial frequencies），而右側(cè)的 RAISR 圖像恢復(fù)了其原始結(jié)構(gòu)。RAISR 的過(guò)濾器學(xué)習(xí)方法還有一項(xiàng)重要的優(yōu)點(diǎn)：用戶可以把消除噪音以及各類壓縮演算法的產(chǎn)物做為訓(xùn)練的一部分。當(dāng) RAISR 被提供相應(yīng)的范例后， 它可以在圖片銳化之外學(xué)會(huì)消除這些效果，并把這些功能加入過(guò)濾器。

　　

　　▲ 左：有強(qiáng)混疊效應(yīng)的原始圖片；右：RAISR 處理后效果。

　　超分辨率技術(shù)利用不同的方法已經(jīng)有了不少進(jìn)展。如今，透過(guò)把機(jī)器學(xué)習(xí)與多年來(lái)不斷發(fā)展的成像技術(shù)相結(jié)合，圖像處理技術(shù)有了長(zhǎng)足的進(jìn)步，并帶來(lái)許多好處。舉例來(lái)說(shuō)，除了放大手機(jī)上的圖片，用戶還可以在低分辨率和超高清下捕捉、儲(chǔ)存、傳輸圖像，使用更少的移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)和儲(chǔ)存空間，而且不會(huì)產(chǎn)生肉眼能觀察到的畫(huà)質(zhì)降低。

　　小結(jié)：自從喬布斯 2010 年在 iPhone 4s 上推出“視網(wǎng)膜屏幕”概念之后，數(shù)碼產(chǎn)品市場(chǎng)開(kāi)啟了一場(chǎng)超高清顯示革命。如今，家用顯示器逐步走向 4K，各大手機(jī)廠商也競(jìng)相推出 2K 旗艦機(jī)。但 2K、4K 內(nèi)容的缺乏一直是困擾行業(yè)發(fā)展的痛點(diǎn)。之前的超分辨率技術(shù)受成本、硬件限制，主要應(yīng)用于專業(yè)領(lǐng)域，未能大范圍普及。

　　此次 Google RAISR 大幅降低了圖像增強(qiáng)的時(shí)間成本和硬件要求，有望實(shí)現(xiàn)超分辨率技術(shù)在消費(fèi)領(lǐng)域的應(yīng)用，把充斥網(wǎng)絡(luò)的低畫(huà)質(zhì)圖片轉(zhuǎn)化為高清圖片，大幅提高視覺(jué)效果和用戶體驗(yàn)。雷鋒網(wǎng)十分期待將來(lái) RAISR 在移動(dòng)設(shè)備的應(yīng)用，例如把消費(fèi)者手機(jī)拍攝的照片轉(zhuǎn)化為媲美單反畫(huà)質(zhì)的高清美圖。

• RAISR: Rapid and Accurate Image Super Resolution
• Enhance! RAISR Sharp Images with Machine Learning

　　（本文由 雷鋒網(wǎng)授權(quán)轉(zhuǎn)載；首圖來(lái)源：Flickr/Carlos LunaCC BY 2.0）

下面是對(duì)該論文的摘要介紹：

• 論文：RAISR：快速且準(zhǔn)確的圖像超分辨率（RAISR: Rapid and Accurate Image Super Resolution）

　　

給定一張圖像，我們希望能得到一張其對(duì)應(yīng)的更大尺寸、有顯著更多像素、更高圖像質(zhì)量的版本。這個(gè)問(wèn)題通常被稱為單圖像超像素問(wèn)題（Single Image Super-Resolution (SISR) problem）。其思路是：使用足夠多的訓(xùn)練數(shù)據(jù)（對(duì)應(yīng)的低分辨率和高分辨率圖像對(duì)），我們就可以訓(xùn)練出一組過(guò)濾器（filter，即一種映射），當(dāng)我們將其應(yīng)用于一張非訓(xùn)練集的圖像時(shí)，它就能產(chǎn)生一張?jiān)搱D像的更高分辨率的版本，其中的學(xué)習(xí)（learning）部分最好應(yīng)選擇低復(fù)雜度（low complexity）的。在我們提出的方法中，運(yùn)行時(shí)間（run-time）比目前可用的最佳競(jìng)爭(zhēng)方法快 1 到 2 個(gè)數(shù)量級(jí)，同時(shí)我們的方法還能得到可與當(dāng)前最佳結(jié)果媲美甚至更好的結(jié)果。

一個(gè)與上述問(wèn)題緊密相關(guān)的主題是圖像銳化（image sharpening）和對(duì)比度增強(qiáng)（contrast enhancement），即通過(guò)增強(qiáng)基本的細(xì)節(jié)（一個(gè)大范圍的頻率）來(lái)提升模糊圖像的視覺(jué)質(zhì)量。我們的方法還額外包含了一種極其有效的用來(lái)生成比輸入模糊圖像顯著更加銳利的圖像的方式，且不需要引入暈圈（halo）和噪聲放大（noise amplification）。我們還闡釋了：除了單純的興趣之外，這種有效的銳化算法還可被用作一種預(yù)處理步驟，可用于產(chǎn)生帶有內(nèi)置銳化和對(duì)比度增強(qiáng)效果的更有效的放大過(guò)濾器（upscaling filter）。

Google 又玩黑科技，用機(jī)器學(xué)習(xí)幫你節(jié)省 75% 流量

在最專業(yè)的圖片處理軟件 Photoshop 中，當(dāng)你導(dǎo)出圖片時(shí)，有一個(gè)叫“存儲(chǔ)為網(wǎng)頁(yè)所用格式”的選項(xiàng)，它清楚地列出了你可以保存的圖片品質(zhì)，以及圖片在不同帶寬下的加載時(shí)間。

這是因?yàn)樵诰W(wǎng)絡(luò)上，圖片的品質(zhì)和加載速度是特別需要平衡的。更清晰，品質(zhì)更好的圖片往往有更大的尺寸，但它會(huì)讓加載速度變慢，消耗更多流量。對(duì)網(wǎng)站開(kāi)發(fā)者來(lái)說(shuō)，這意味著更高的成本，當(dāng)然，對(duì)我們來(lái)說(shuō)，這意味著更高的流量費(fèi)。

在更小的尺寸內(nèi)提供更高的品質(zhì)，是圖片壓縮領(lǐng)域恒久的課題。Google 就一直致力于此，2010 年，它就推出了一種叫 WebP 的新圖片格式，相比 JEPG，可以在相同的品質(zhì)內(nèi)把把圖片大小減少 40%。

現(xiàn)在，Google 要用新的機(jī)器學(xué)習(xí)技術(shù)，讓這一步走得更遠(yuǎn)。

1 月 11 日，Google+ 團(tuán)隊(duì)在其官方博客介紹了一種叫 RAISR（Rapid and Accurate Image Super Resolution）的新技術(shù)，它使用機(jī)器學(xué)習(xí)方法，訓(xùn)練系統(tǒng)分析同一張圖片的高質(zhì)量版本和低質(zhì)量版本，找出高質(zhì)量版本更好的原因，再在低質(zhì)量版本模擬出高質(zhì)量版本圖片的效果。

和這個(gè)過(guò)程類似的是對(duì)圖片的銳化和增強(qiáng)對(duì)比度的操作，即通過(guò)放大底層細(xì)節(jié)，來(lái)改善模糊圖片的質(zhì)量。但是，銳化同時(shí)增加圖像的噪點(diǎn)，讓圖片看起來(lái)有很多小顆粒，經(jīng)常使用 Photoshop 處理照片的同學(xué)應(yīng)該深有體會(huì)。Google 表示，自己使用的方法可以在不增加噪點(diǎn)和顆粒的情況下改善圖片清晰度。

在 Photoshop 中對(duì)一張圖片多次應(yīng)用銳化后，圖片中會(huì)出現(xiàn)大量噪點(diǎn)

在 RAISR 的論文中，作者表示，使用這種方法，運(yùn)行時(shí)間比目前最好的圖片壓縮方法快一到兩個(gè)數(shù)量級(jí)，同時(shí)，它產(chǎn)生的圖片效果和最好的辦法相當(dāng)，甚至更好。

現(xiàn)在，這個(gè)系統(tǒng)已經(jīng)可以用于訓(xùn)練庫(kù)之外的圖片，也就是說(shuō)，當(dāng)系統(tǒng)遇到一張從未見(jiàn)過(guò)的圖片時(shí)，也能按照同樣的方法，用更小的尺寸模擬出高質(zhì)量圖片。

2016 年 11 月，RAISR 被引入了 Google+ 中，最理想的狀況下，它可以節(jié)省 75% 的流量。

現(xiàn)在，RAISR 技術(shù)僅在 Android 設(shè)備用戶訪問(wèn) Google+ 時(shí)啟用。即便如此，Google 說(shuō)，現(xiàn)在每周也有超過(guò) 10 億張圖片用了這項(xiàng)技術(shù)，幫助用戶節(jié)省了約 1/3 的流量。很快，它也被用于更多的 Google 產(chǎn)品。

總結(jié)

以上是生活随笔為你收集整理的Google 超分辨率技术 RAISR：模糊图片瞬间变清晰，运算速度快十倍的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。