Zhang K, Zuo W, Gu S, et al. Learning Deep CNN Denoiser Prior for Image Restoration[J]. 2017.

1.引言

圖像恢復(fù)（image restoration，IR）? ——從退化模型中恢復(fù)出干凈的圖像x

? ? ? ? ? ? ? ? ? ?退化模型：? ，其中H是退化矩陣，v是附加噪聲。

圖像恢復(fù)有三種典型的任務(wù)，在圖像去噪中，H是單位矩陣（identity matrix）； 圖像去模糊中，H的模糊算子；圖像超分辨中，H是下采樣和模糊的復(fù)合算子。

從貝葉斯的角度分析，x的估計(jì)（）可以通過MAP（最大后驗(yàn)估計(jì)）問題求解：

? ? ? ? ???

? ? ? ??

式（2）前半部分為保真項(xiàng)（fidelity firm），后半部分為正則項(xiàng)（regularization firm?）。

為了解決式（2），一般有兩種方法，基于模型的優(yōu)化方法和判別學(xué)習(xí)方法（discriminative learning methods），基于模型的優(yōu)化方法例如NCSR，基于學(xué)習(xí)的方法L例如SRCNN、MLP等等，前者只需退化矩陣，后者需要訓(xùn)練集和特定的退化矩陣；在此我的理解是，前者為傳統(tǒng)的圖像處理算法，后者為利用深度學(xué)習(xí)或者機(jī)器學(xué)習(xí)的圖像處理算法。這兩種方法都有各自的優(yōu)缺點(diǎn)，如果能加以結(jié)合各自的優(yōu)勢，可能會提高效果。幸運(yùn)的是，已有變量分離技術(shù)（?variable splitting technique），如ADMM（alternating direction method of multipliers?），HQS（half quadratic splitting）方法，使得可以分別處理保真項(xiàng)（fidelity term）和正則項(xiàng)，其中正則項(xiàng)僅對應(yīng)于去噪的子問題。因此，可以在基于模型的優(yōu)化方法中使用discriminative denoisers。

本文的目標(biāo)在于訓(xùn)練一系列快速高效的discriminative denoisers，并把它們用于基于模型優(yōu)化的方法中，解決求逆問題。不使用MAP相關(guān)方法，而是使用CNN學(xué)習(xí)denoisers。

本文貢獻(xiàn)：?

• ? ? ? ? ? ? ? 訓(xùn)練出一系列CNN denoisers。使用變量分離技術(shù)，強(qiáng)大的denoisers可以為基于模型的優(yōu)化方法帶來圖像先驗(yàn)。
• ? ? ? ? ? ? ? ? 學(xué)習(xí)到的CNN denoisers被作為一個(gè)模塊部分插入基于模型的優(yōu)化方法中，解決其他的求逆問題。

2.背景

?以HQS方法為例，講解如何對保真項(xiàng)和正則項(xiàng)進(jìn)行變量分離。

為了將denoiser先驗(yàn)加入式（2）的優(yōu)化操作，可行的變量分離操作通常是將保真項(xiàng)和正則項(xiàng)分解，在HQS方法中，引入附加變量z，等式（2）可被改寫為一個(gè)約束最優(yōu)化問題：

? ? ? ? ? ? ? ? ??

用HQS方法求解式（4）則可寫為：

其中為懲罰系數(shù)，式（5）可通過以下迭代求解：

其中保真項(xiàng)在式（6a）中，正則項(xiàng)在式（6b）中，（6a）的解法如下：

（6b）可改寫為：

通過貝葉斯概率，式（8）可以看做處理圖像高斯噪聲的問題，噪聲水平為：

通過式（8）和式（9），圖像先驗(yàn)可以暗含在去噪先驗(yàn)中。

3.學(xué)習(xí)深度CNN去噪器先驗(yàn)

CNN去噪器模型如上圖，由七層組成，含三種blocks，分別是：第一個(gè)“dilated Convolution+Relu”，中間五個(gè)“dilated Convolution+BN+Relu”，最后一層“dilated Convolution”。其中空洞因子（dilated factors，3×3）被依次設(shè)置為，1,2,3,4,3,2,1。每一個(gè)中間層的feature maps個(gè)數(shù)均為64.

下面給出本網(wǎng)絡(luò)一些重要的設(shè)計(jì)和訓(xùn)練細(xì)節(jié)。

• ?使用dilated filter擴(kuò)大感受野。在圖像去噪任務(wù)中，背景信息對重構(gòu)受損像素具有很大的作用。通過擴(kuò)大CNN的感受野有兩個(gè)方法，一個(gè)是增大卷積核尺寸，另一個(gè)是加深卷積深度。而增大卷積核尺寸，不僅引入了更多變量，也增加了計(jì)算負(fù)擔(dān)，因此，最好的做法就是在現(xiàn)有的CNN設(shè)計(jì)中，使用深度更深的3×3卷積核。本文就是使用空洞卷積來平衡網(wǎng)絡(luò)深度和感受野大小。空洞因子為s的空洞濾波器可以解釋為尺寸為（2s+1）×（2s+1）的稀疏濾波器，其中只有9個(gè)位置非零。因此，對應(yīng)于各層的感受野分為別：3,5,7,9,7,5,3，因此，所提出的網(wǎng)絡(luò)卷感受野為33×33（問題：怎么得到的？）.如果使用傳統(tǒng)的3×3濾波器，網(wǎng)絡(luò)深度一定（如7），網(wǎng)絡(luò)將會有一個(gè)15×15的感受野；或者感受野一定（如33×33），網(wǎng)絡(luò)深度將為16。為了展示本文網(wǎng)絡(luò)融合了以上兩種模型的優(yōu)勢，基于噪聲水平25，在相同的訓(xùn)練參數(shù)下，我們訓(xùn)練了三個(gè)模型。
• 使用批標(biāo)準(zhǔn)化BN和殘差學(xué)習(xí)加速訓(xùn)練。
• 使用小尺寸訓(xùn)練樣本避免邊界效應(yīng)。
• 學(xué)習(xí)噪聲水平間隔較小的特定的去噪模型。
  

總結(jié)

以上是生活随笔為你收集整理的论文阅读-Learning Deep CNN Denoiser Prior for Image Restoration的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。