簡(jiǎn)介

（1）論文名稱(chēng)：
DeepLPF: Deep Local Parametric Filters for Image Enhancement CVPR 2020
（2）論文鏈接：
https://arxiv.org/abs/2003.13985
（3）源代碼：
https://github.com/sjmoran/deep_local_parametric_filters

主要idea

本篇文章提出一種新穎的方法，它可以采用學(xué)習(xí)到的三種類(lèi)型（橢圓濾波器、漸變?yōu)V波器以及多項(xiàng)式濾波器）的空間局部濾波器進(jìn)行圖像增強(qiáng)。作者引入一種深度神經(jīng)網(wǎng)絡(luò)（Deep Local Parametric Filters, DeepLPF）用于回歸這些空間局部濾波器的參數(shù)并利用這些濾波器對(duì)圖像進(jìn)行增強(qiáng)。DeepLPF提供了一種很自然的形式進(jìn)行模型正則、可解釋性、直覺(jué)調(diào)整，從而生成具有更好視覺(jué)效果的圖像。作者在多個(gè)數(shù)據(jù)集(Adobe-5K及變種)上驗(yàn)證了所提方法的優(yōu)異性能.

上圖給出了所提DeepLPF的網(wǎng)絡(luò)架構(gòu)示意圖，給定低質(zhì)輸入RGB圖像$I$及其對(duì)應(yīng)的高質(zhì)圖像$Y$，可以訓(xùn)練DeepLPF學(xué)習(xí)變換$f_{\theta }$，此時(shí)有$\hat{Y}=f_{\theta }(I)$。
作者所設(shè)計(jì)的模型包含一個(gè)用于細(xì)粒度圖像增強(qiáng)的單流(single-stream)網(wǎng)絡(luò)，與一個(gè)用于局部增強(qiáng)的雙流(two-stream)網(wǎng)絡(luò)。
1.首先，采用標(biāo)準(zhǔn)CNN骨干網(wǎng)絡(luò)(如ResNet、UNet)估計(jì)一個(gè)維度為$C\times H\times W$的特征圖，其中前三個(gè)通道表示待調(diào)整圖像${\hat{Y}}_1$，其他$C_{{}^{\prime }}=C?3$通道將送入后續(xù)的是三個(gè)濾波器參數(shù)預(yù)測(cè)模塊；
2.然后，采用單流網(wǎng)絡(luò)用于預(yù)測(cè)多項(xiàng)式濾波器的參數(shù)并用于增強(qiáng)骨干網(wǎng)絡(luò)的輸出${\hat{Y}}_1$得到${\hat{Y}}_2$；
3.其次，增強(qiáng)后的${\hat{Y}}_2$將與特征$C^{{}^{\prime }}$進(jìn)行拼接并送入雙流網(wǎng)絡(luò)學(xué)習(xí)局部增強(qiáng)濾波器(漸變?yōu)V波器、橢圓濾波器)參數(shù)，所學(xué)習(xí)到的兩種類(lèi)型濾波器通過(guò)Add方式進(jìn)行融合并得到尺度圖$\hat{S}$，該尺度圖將與前述增強(qiáng)圖像${\hat{Y}}_2$通過(guò)Multiply融合得到${\hat{Y}}_3$；
4.最后，通過(guò)骨干網(wǎng)絡(luò)增強(qiáng)的圖像${\hat{Y}}_1$將與所得到的${\hat{Y}}_3$通過(guò)Add方式融合得到最終的輸出$\hat{Y}$。
本文對(duì)用于圖像增強(qiáng)的自動(dòng)參數(shù)化濾波器進(jìn)行探索與研究。受啟發(fā)與專(zhuān)業(yè)圖像編輯工具與軟件，作者提出采用深度學(xué)習(xí)方式估計(jì)三種類(lèi)型的濾波器（稱(chēng)之為濾鏡可能更合適）參數(shù)，并用于指導(dǎo)圖像增強(qiáng)。本文所提方法具有更好的可操作空間，同時(shí)具有更好的可解釋性。該文為圖像增強(qiáng)方法的研究打開(kāi)了一扇窗戶(hù)，它將有助于更多可落地AI畫(huà)質(zhì)算法的落地與產(chǎn)品化。

實(shí)驗(yàn)簡(jiǎn)介

數(shù)據(jù)集：
作者選用了由兩個(gè)數(shù)據(jù)集衍生出的三個(gè)數(shù)據(jù)集。
(1)MIT-Adobe-5K-DPE;
(2)MIT-Adobe-5K_UPE;
(3)See-in-the-dark.

實(shí)驗(yàn)結(jié)果

輸入1：

輸出1：

輸入2：

輸出2：

輸入3：

輸出3：

總結(jié)

以上是生活随笔為你收集整理的二维码提升对比度文献调研(5)--DeepLPF: Deep Local Parametric Filters for Image Enhancement的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。