論文：https://arxiv.org/pdf/2101.02824.pdf

代碼：https://github.com/TaoHuang2018/Neighbor2Neighbor

下面內(nèi)容來(lái)自智源研究院CVPR2021預(yù)講華為諾亞專(zhuān)場(chǎng)

1、深度學(xué)習(xí)的圖像去噪方法面臨的挑戰(zhàn)

當(dāng)前方法主要包括三類(lèi)：

基于監(jiān)督學(xué)習(xí)的方法：使用 noisy-clean 圖像對(duì)進(jìn)行訓(xùn)練（DnCNN, FFDNet, CBDNet, SGNet）。這類(lèi)方法的難點(diǎn)在于，在真實(shí)場(chǎng)景中，比較難以獲取 noisy-clean 的圖像對(duì)
Noise2Noise（ICML18）： 使用 Noisy-noisy 圖像對(duì)進(jìn)行訓(xùn)練，每個(gè)場(chǎng)景都需要 multiple independent observations 。在應(yīng)用上有局限性：室內(nèi)靜態(tài)場(chǎng)景、MRI重建等
基于自監(jiān)督的方法： 1）單張圖像自身信息挖掘，代表方法是Deep image prior, Self2self, NoiseAsClean；2）Blind-spot network: 需要修改網(wǎng)絡(luò)結(jié)構(gòu)，訓(xùn)練困難，性能有限（noise2void，DBSN）；3）噪聲建模方法：預(yù)測(cè)噪聲分布，在實(shí)際場(chǎng)景中難以應(yīng)用（Laine19）

2、Noise2Noise回顧

Noise2Noise是一個(gè)不需要 clean 數(shù)據(jù)的圖像修復(fù)方法：

Train arbitrary denosing network without the need of clean images.
Requires pairs of independent noisy images of the same scene.

訓(xùn)練目標(biāo)：

Given two indpendent noisy observations (y), (z) of the same unobserved image (x)

minimizing (argmin mathbb{R}_{x,y,z}||f_ heta(y)-z ||^2_2) yields the same solution as fully-supervised (noisy-clean pair) training

訪方法的局限性：需要采集同一場(chǎng)景噪聲獨(dú)立的多個(gè)圖像，這個(gè)對(duì)于動(dòng)態(tài)場(chǎng)景（戶外，或者自拍）比較困難。

因此，本工作的 motivation 就來(lái)了，構(gòu)建更通用的Noise2Noise，有兩個(gè)假設(shè)：

假設(shè)一：Noise2Noise是對(duì)一個(gè)場(chǎng)景進(jìn)行多個(gè)采樣用于訓(xùn)練，能不能對(duì)相似的場(chǎng)景進(jìn)行多個(gè)采樣進(jìn)行訓(xùn)練？這樣就可以降低數(shù)據(jù)采集的難度（independent noisy observation of similar scenes）
假設(shè)二：能不能每個(gè)場(chǎng)景使用一個(gè)含噪圖像就訓(xùn)練整個(gè)網(wǎng)絡(luò)？（One noisy observation per scene）

3、Neighbor2Neighbor

對(duì)于假設(shè)一： Neighbor2Neighbor使用ground truth相似的圖片進(jìn)行訓(xùn)練（Noise2Noise使用同一張圖片的多個(gè)噪聲圖進(jìn)行訓(xùn)練）。論文中有一個(gè)推導(dǎo)，表明找到相似但不相同的含噪圖像 (y) 和 (z) 時(shí)，可以訓(xùn)練降噪網(wǎng)絡(luò)。

對(duì)于假設(shè)二： 從含噪圖像 (y) 采樣出來(lái)的多個(gè)圖像，被稱(chēng)為neighbors。作者構(gòu)建了一個(gè)帶約束的優(yōu)化問(wèn)題，具體可以參考作者論文。

整體框架如下圖所示。對(duì)于含噪圖像，進(jìn)行兩個(gè)采樣得到 (g_1(y)) 和 (g_2(y))。然后把用降噪網(wǎng)絡(luò)處理后的圖像 (f_ heta(g_1(y))) 與 (g_2(y)) 做一個(gè) loss ，這部分就是 Pseudo Noise2Noise。同時(shí)，構(gòu)建第二個(gè) loss ，也就是正則項(xiàng)。

接下來(lái)還有一個(gè)問(wèn)題，就是 (g_1) 和 (g_2) 要非常的相似，如何構(gòu)造這個(gè)非常相似的采樣呢 ？論文中有一個(gè)圖示，把圖像拆分為好多 (k imes k) 的 cell （下圖中 (k=2)）。在每個(gè) cell 中隨機(jī)選兩個(gè)像素，一個(gè)歸(g_1)，另一個(gè)歸 (g_2)，這樣就可以構(gòu)建兩個(gè)采樣的子圖。

4、實(shí)驗(yàn)結(jié)果

第一個(gè)實(shí)驗(yàn)是在合成的 RGB 數(shù)據(jù)集（加高斯噪聲）上進(jìn)行測(cè)試，可以看到比 noisy-clean 和 noise2noise 大約低 0.3db。性能比其它自監(jiān)督的方法性能要明顯好，同時(shí)，和英偉達(dá) Laine19這個(gè)方法相比，性能是差不多的。

第二個(gè)實(shí)驗(yàn)是真實(shí)專(zhuān)景RAW圖像的降噪（SIDD數(shù)據(jù)集）。與N2C相比，PSNR值低 0.1db。但是性能比其它自監(jiān)督的方法要好。同時(shí)，如果使用更好的網(wǎng)絡(luò)（RRG），性能會(huì)得到明顯提升。

接下來(lái)的實(shí)驗(yàn)是 Ablation study，首先分析了正則項(xiàng)(gamma) 的作用。當(dāng)(gamma)值 增大時(shí)，越來(lái)越多的細(xì)節(jié)保留越多，隨之噪聲也增多。

總結(jié)

以上是生活随笔為你收集整理的【CVPR2021】Neighbor2Neighbor 解读的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。