RefineNet: Multi-Path Refinement Networks forHigh-Resolution Semantic Segmentation (2017) 論文筆記

文章的創(chuàng)新點在于decoder的方式，不同于U-Net在上采樣后直接和encoder的feature map進行級聯(lián)，本文通過RefineNet進行上采樣，把encoder產(chǎn)生的feature和上一階段decoder的輸出同時作為輸入，在RefineNet中進行一系列卷積，融合，池化，使得多尺度特征的融合更加深入。另一創(chuàng)新點就是RefineNet模塊中的鏈式殘余池化，為了驗證這個模塊的效果，作者做了對比實驗，證明在加入該模塊后，分割效果確實變好了。

1. Abstract

• • 為了解決下采樣過程中導致的信息損失，論文提出了RefineNet,通過利用下采樣過程中能夠獲取到的所有信息。
  • 網(wǎng)絡組建使用了恒等映射的殘余連接。
  • 另外，論文還介紹了鏈式殘余池化（chained residual pooling ），可以高效的獲取背景信息。
  • 在公共數(shù)據(jù)集（VOC 2012）中做了實驗，實現(xiàn)了最佳效果

2. Introduction

反卷積不能恢復low-level的feature，deeplab使用空洞卷積來解決這一問題。

但是空洞卷積有兩個問題：

• • • 對高像素feature map的卷積會消耗算力，同時也需要大的GPU內(nèi)存，通常對于高像素的圖都會resize
    • 空洞卷積的特性決定了它會損失一些細節(jié)信息。

FCN等方法提出的特征融合雖然能夠保留低維和高維信息，但缺少了空間信息？

本文的貢獻：

• • • 提出了RefineNet,它是一種多路徑的提煉網(wǎng)絡，利用多級抽象特征進行高分辨率的語義分割，通過遞歸方式提煉低分辨率的特征，生成高分辨率的特征
    • 級聯(lián)的refineNet可以end-to-end訓練，使用了恒等映射的殘余連接
    • 提出了鏈式殘余池化。使用不同尺寸的窗口池化，并且使用殘余連接和可學習的權(quán)重把他們?nèi)诤掀饋?/li>

3. Related work

• • 提到了FCN，segnet，deconvnet, unet， deeplab v2等
  • 能夠利用低維的feature來精煉高維的semantic feature.
  • 使用了短范圍和長范圍的殘余連接，實驗表明，我們的網(wǎng)絡十分有效。

4. Background

分析resnetnet

• • • 降采樣增加了感受野
    • 提高了訓練效率
    • 一般的最終會降采樣到1/32,會損失信息，可選的解決方法是使用空洞卷積

deeplab v2

• • • 降采樣操作全部被取消，在第1個block之后的卷積層全部使用空洞卷積。優(yōu)點是在不增加參數(shù)的情況下增加了感受野。
    • 文章說，空洞卷積很消耗內(nèi)存，原因在于空洞卷積在較高分辨率上保留大量的feature map，在網(wǎng)絡的后層通道數(shù)很多。
    • 我的理解是因為少了下采樣，feature map自然就會很大，但對于文章所說的后層通道數(shù)增多不太理解。

5. 網(wǎng)絡結(jié)構(gòu)

• • 網(wǎng)絡整體結(jié)構(gòu)

• • 下圖是單獨一個refineNet的結(jié)構(gòu)，上面的圖中包含了4個refineNet。

• • 也就是說，一個RefineNet相當于一個上采樣模塊，接受多個（一個）輸入，輸出一個。下采樣是ResNet，然后經(jīng)過4個RefineNet上采樣，得到原來大小圖。作者的創(chuàng)新點一方面在于提出了整個網(wǎng)絡結(jié)構(gòu)，另一方面是RefineNet模塊中的鏈式殘余池化。
  • 根據(jù)整體結(jié)構(gòu)圖可以看到，RefineNet-4只接受一個輸入，后面的3個每個都接受兩個輸入。
  • RefineNet
    • 根據(jù)圖片可以看到，每個RefineNet包含4個部分
      • Residual convolution unit ：對ResNet block進行2層的卷積操作。注意這里有多個ResNet block作為輸入。
      • Multi-resolution fusion：將1中得到的feature map進行加和融合。
      • Chained residual pooling ：該模塊用于從一個大圖像區(qū)域中捕捉背景上下文。注意：pooling的stride為1。
      • Output convolutions：由三個RCUs構(gòu)成。

Reference

https://zhuanlan.zhihu.com/p/37805109RefineNet: Multi-Path Refinement Networks forHigh-Resolution Semantic Segmentation

總結(jié)

以上是生活随笔為你收集整理的unet论文_图像分割之RefineNet 论文笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。