最近看了很多圖像超分辨率方面的文章，所以做一個總結(jié)，希望對大家有所幫助。所列出的文章都是很好的文章，其中包括一些頂級會議：CVPR,ICCV,ECCV等。其中有代碼的我會給網(wǎng)址，還有的代碼不公布。最后會做一個經(jīng)驗總結(jié)，還有關(guān)于深度學(xué)習(xí)框架的選擇，給新手一些建議。

? ? ? ?

?

SRCNN

Image Super-Resolution Using Deep Convolutional Networks

?

? ??? ? ?最早的使用深度學(xué)習(xí)做圖像超分辨率的文章，香港中文大學(xué)湯曉鷗團隊的成果，其學(xué)生徐立是商湯科技的總裁。? ? ? ? ? ? ?代碼地址：http://mmlab.ie.cuhk.edu.hk/projects/SRCNN ???? ??? ?

?

?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

預(yù)處理：Bicubic 先下采樣，后上采樣作為輸入圖像

圖像空間：Ycbcr

訓(xùn)練樣本：91images(24800sub-images)+imagenet(5 million sub-images)

Scalingfactor:2,3,4

學(xué)習(xí)率： 前兩層，最后一層

參數(shù)初始化方法：高斯分布（均值為0，標準差為0.001，偏置為0）

誤差減小方式：隨機梯度下降 ???????????????????????????????????

?

VDSR

Accurate Image Super-Resolution Using Very Deep Convolutional Networks

? ? ? ? 用殘差將網(wǎng)絡(luò)做的很深，在當時首先將殘差應(yīng)用到超分辨率領(lǐng)域，比較具有創(chuàng)新性，效果也較好。但是視覺效果并不是很少，細節(jié)恢復(fù)較差。

代碼地址：https://cv.snu.ac.kr/research/VDSR/

?

除了輸入和輸出都是3*3*64的濾波器

預(yù)處理：bicubic先下采樣，后上采樣作為輸入圖像

圖像空間：Ycbcr

訓(xùn)練樣本：291images,data augmentation(rotation or flip),多尺度的（2,3,4）

Scalingfactor:適用于多個scale factor,訓(xùn)練時同時用的2,3,4，測試2,3,4中任意一個都可以。

技巧：0填充保持輸出圖像大小不變。

是否殘差：殘差

學(xué)習(xí)率：0.1(20代)，每20代下降10倍

參數(shù)初始化方法：Delving deep into rectifiers: Surpassing human-level performance onimagenet classification中提到的初始化方式，適用于Relu.

誤差減小方式：adjustable gradient clipping

其他參數(shù)：batch size:64,momentum:0.9,weight decay:0.0001

LapSRN

Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution
?

使用拉普拉斯金字塔結(jié)構(gòu)，各方面效果超過VDSR。

代碼地址：http://vllab.ucmerced.edu/wlai24/LapSRN/

?

卷積層：每一個level 3,5,10,15

預(yù)處理：bicubic下采樣

圖像空間：

訓(xùn)練樣本：91+291

Scalingfactor:適用于2,4,8

技巧：0填充,解卷積層/轉(zhuǎn)置卷積

是否殘差：殘差

激勵函數(shù)：(LReLUs)leaky rectified linear units

學(xué)習(xí)率： ，每50代下降100倍

參數(shù)初始化方法：Delving deep into rectifiers: Surpassing human-level performance onimagenet classification中提到的初始化方式，適用于Relu.

解卷積層的參數(shù)用bilinear filter 初始化

誤差減小方式：charbonnier penalty function

其他參數(shù)：batch size:64 momentun:0.9 weight decay:0.0001

?

FSRCNN

Accelerating the Super-Resolution Convolutional Neural Network

SRCNN之后出的一篇，一個作者做的，效果比SRCNN好，比VDSR差，但run time 是其一大優(yōu)勢。

代碼地址：http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html

預(yù)處理：bicubic上采樣

圖像空間：Ycbcr

訓(xùn)練樣本：91+100

Scalingfactor:每一個scale，單獨訓(xùn)練模型

技巧： 0填充，高分辨率率和低分辨率圖像塊的大小,解卷積

是否殘差：非殘差

激勵函數(shù)：Parametric Rectified Linear Unit(PReLU)

學(xué)習(xí)率： 卷積層0.001，解卷積層0.0001，fine-tuning時，所有的學(xué)習(xí)率變?yōu)橐话?/p>

參數(shù)初始化方法：0均值，方差為0.001的高斯分布隨機

誤差減小方式：最小均方誤差

其他參數(shù)：

?

?

還有的一些優(yōu)秀的文章有：?

?

• Deeply-Recursive Convolutional Network for Image Super-Resolution (CVPR2016), Jiwon Kim et al.
• Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network (CVPR2016), Wenzhe Shi et al.
• Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE2017 Super-Resolution Challenge), Bee Lim et al.（目前用卷積神經(jīng)網(wǎng)絡(luò)做的最好的一篇了）

目前比較火的GAN的方法：

• Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR2017), Christian Ledig et al.
• AMORTISED MAP INFERENCE FOR IMAGE SUPER-RESOLUTION (ICLR2017), Casper Kaae S?nderby et al.

?

個人感悟：超分辨率如果用一般指標如PSNR和SSIM來衡量并不能完全代表視覺上的效果。PSNR用二范數(shù)去約束就會得到很高的值，SSIM用注重細節(jié)的恢復(fù)也可以達到很高的值。如果想用CNN做可以參考Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE2017 Super-Resolution Challenge), Bee Lim et al.

GAN給了一種很好的思路，可以恢復(fù)出很好的視覺效果。但GAN的方法目前幾乎沒有公布代碼的，如果想做只能自己寫代碼了。

?

框架選擇：對新手來說，caffe是一種很好上手的框架，但是里面的loss function除非修改源碼，不然默認就是二范數(shù)。tensorflow 是一個萬金油的框架，除了計算機視覺還適合處理其他領(lǐng)域的問題，而且受眾廣，社區(qū)大。torch也是一種很方便的框架，會python的人用pytorch會很順手。其他一些框架沒用過，也沒用經(jīng)驗，就不多介紹。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的图像超分辨率近两年几篇优秀论文及代码的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。