論文地址

一、主要內容介紹

1. 問題背景

對于高分辨率的圖像，如何在高推斷速度的情況下，保證推斷精度呢？

U型網絡的分割效果不錯，但是計算量較大；

一些方法通過減小輸入圖像的尺寸或者裁剪掉多余的通道來提高推斷的速度，但是會損失邊界部分的細節以及對于小目標識別效果不好；

淺層的網絡削弱了特征的辨別能力。

針對這些問題，有人提出將空間細節和上下文信息結合在一起的多分支框架(Figure 2(a))。然而，高分辨率圖像上的附加分支限制了速度，分支之間的相互獨立性限制了模型學習能力。

SPP(Spatial Pyramid Pooling)(Figure 2(b))會增加高層的特征，同時也會增加計算量。通過最后的輸出增加特征圖，這樣會缺少前面層保留的圖像語義信息。

為了提高模型的學習能力，以及增大感受野，特征重利用(feature reuse) 是個不錯的方法。文章提出的網絡結構如圖Figure 2(d).通過子網絡聚合（sub-network aggregation）和子狀態聚合（sub-stage aggregation）來重利用特征。

2. 文章貢獻點

文章提出了一種深度信息整合網絡（DFANet）用于實時語義分割。
主要有三個貢獻點：

采用輕量級的網絡作為基本骨架（backbone）

子網絡聚合——網絡級聯。

子狀態聚合。將不同骨架間的相應狀態聚合。

二、網絡結構

1. backbone
Figure 3中共有3個backbone，每個backbone都是改進版的Xception網絡。


2. 子網絡聚合——網絡級聯
圖中的紅色箭頭部分

處理過程:將上一個backbone 的輸出，作為下一個backbone的輸入。這個上一個backbone 的輸出上采樣四次后輸入下一個backbone。

3. 子狀態聚合
橙色箭頭部分。不同backbone的相應狀態聚合

對于第一個backbone，$n=1$,第$i$個狀態$x_i^n$ 等于上一狀態的輸入和輸出的和，當$n>1$時，$x_i^n$ 等于上一狀態（$i?1$）以及上一個網絡($n?1$)的當前狀態（$i$）的級聯。$i$ – 狀態，$n$ – backbone

4. decoder
融合底層和高層的特征，沒有使用中間層的特征。

三、實驗細節

輸入圖像尺寸：$1024x1024$,$512x1024$

優化方法：SGD batch size 48, momentum 0.9 weight decay 1e ? 5.
3.損失函數：交叉熵損失

數據增強： 去均值（mean suntraction）,隨機垂直翻轉，隨機縮放，縮放因子：[0.75,1.75],隨機裁剪

四、問題

當使用3個Backbone A時的mIoU比2個時小？2個Backbone A時的感受野已經比圖像大，在增加一個Backbone，會引入噪聲。

總結

以上是生活随笔為你收集整理的DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation（笔记）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。