Abstract

CNN在傳統的單幀超分辨率重建上取得了非常好的效果，可以取得較高的峰值信噪比(PSNR)。他們大都以MSE為最小化的目標函數，這樣雖然可以取得較高的峰值信噪比，但是當圖像下采樣倍數較高時，重建的得到的圖片會過于平滑，丟失細節。本文提出了利用GAN來進行超分辨率重建的方法，該網絡是第一個能恢復4倍下采樣圖像的框架。作者提出的損失函數有兩部分組成：對抗損失，內容損失。

對抗損失將圖像映射到高位流形空間，并用判別網絡去判別重建后的圖像和原始圖像。而內容損失則是基于感覺相似性(perceptual similarity)而非像素相似性(pixel similarity)。

Intruction

所謂超分辨率重建就是將低分辨率圖像恢復成對應的高分辨率圖像。但是由于低分辨率圖像信息的缺失，這是一個病態的求逆問題，尤其是在恢復的倍數較高的時候。傳統的方法考慮加入一些先驗信息以恢復高分辨率圖像(如插值法)，此外，還有基于回歸方法的隨記森林也可以用于超分問題。稀疏學習，CNN在超分上也取得了非常好的效果，特別是CNN，使得超分已經可以達到實時應用。

Method

作者提出的網絡結構如下：

網絡結構

生成網絡由殘差結構組成，并結合BN，生成的圖像丟到判別網絡中，交給判別器判斷是生成的高分辨率圖像還是真正的高分辨率圖像。

作者主要的創新點在于代價函數的設計，尤其是將逐像素損失替換為內容損失。作者提出的損失函數由以下三部分加權組成：

Content Loss

內容損失函數

這一項說白了就是對某一層的特征圖的逐像素損失作為內容損失(而不是最后輸出結果的逐像素損失)。這樣可以學得圖像所在的流形空間。(這句話我也沒太懂是什么意思！個人理解，大概就是可以學得一些高層的語義特征，結構信息)

Adversarial Loss

對抗損失項

作者用的對抗損失項用：

負對數求和替換原來的代價函數，這樣有利于訓練。(作者給的參考文獻提到了原因，有興趣可以看看)。

Regularization Loss

作者利用基于全變差的正則項以鼓勵產生具有空間相似性的結果。具體公式如下：

正則損失

Experiments

作者用sub-pixel網絡作為生成網絡，用VGG作為判別網絡構建GAN得到了非常好的結果，但是這個用的是逐像素差作為損失函數。

之后，作者嘗試了自己提出的感知損失函數作為優化目標，雖然PSNR和SSIM不高，但是視覺效果都要優于其他網絡，避免了其他方法的過度平滑的特性。

Conclusion

作者本文的貢獻主要有兩點：

提出的SRResNet取得了state-of-art的結果

將感知損失引入GAN，實現了4倍超分辨率重建

總結

以上是生活随笔為你收集整理的srgan要训练多久_SRGAN阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。