PSPNet – Pyramid Scene Parsing Network
核心模塊是金字塔池化模塊( pyramid pooling module)，它能夠聚合不同區域的上下文信息,從而提高獲取全局信息的能力。實驗表明這樣的先驗表示(即指代PSP這個結構)是有效的，在多個數據集上展現了優良的效果。

1.pyramid pooling module

該模塊融合了4種不同金字塔尺度的特征，第一行紅色是最粗糙的特征–全局池化生成單個bin輸出，后面三行是不同尺度的池化特征。為了保證全局特征的權重，如果金字塔共有N個級別，則在每個級別后使用1×1的卷積將對于級別通道降為原本的1/N。再通過雙線性插值獲得未池化前的大小，最終concat到一起。
金字塔等級的池化核大小是可以設定的，這與送到金字塔的輸入有關。論文中使用的4個等級，核大小分別為1×1，2×2，3×3，6×6

2.整體架構
在PSP模塊的基礎上，PSPNet的整體架構如下：

CNN是經過預訓練的模型(ResNet101)和空洞卷積策略，用來實現提取feature map,提取后的feature map是輸入的1/8大小
feature map經過Pyramid Pooling Module得到融合的帶有整體信息的feature，在上采樣與池化前的feature map相concat
最后通過一個卷積層得到最終輸出。

3.輔助loss
在ResNet101的基礎上做了改進，除了使用后面的softmax分類做loss，額外的在第四階段添加了一個輔助的loss，兩個loss一起傳播，使用不同的權重，共同優化參數。后續的實驗證明這樣做有利于快速收斂。

4.在Cityscapes數據集的表現

5.結論
論文在結構上提供了一個pyramid pooling module，在不同層次上融合feature,達到語義和細節的融合。

總結

以上是生活随笔為你收集整理的PSPNet介绍-语义分割的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。