論文鏈接：https://arxiv.org/pdf/2006.11538.pdf
源碼鏈接：https://github.com/iduta/pyconv

今年論文提出很多在一般backbone上通過添加小模塊用于提升分類分割目標檢測等任務(wù)的精度。下面介紹DeepMind提出的Pyramidal Convolution:Rethinking Convolutional Neural Networks for Visual Recognition

Motivation

盡可能引入少的參數(shù)和計算代價，增大backbone的感受野

Method

類似Inception分支和ASPP模塊，提出使用不同卷積核的多分支網(wǎng)絡(luò)。與類似模塊大部分使用不同空洞卷積核的是PyConv提出使用分組卷積的思想。PyConv中多分支使用不同大小的卷積核，論文中包括33，55，77，99的卷積核。一般的，較小的卷積核感受野較小，可以得到小目標和局部細節(jié)信息。較大的卷積核感受野較大，可以得到大目標和全局語義信息。分組卷積是將輸入特征圖切分成不同組，使用卷積核獨立處理。論文中提出兩個版本，PyConv和PyHGConv。PyConv中使用相對較小的分組數(shù)，包括16，8，4，2。PyHGConv使用較大的分組數(shù)，包括32和64。在backbone結(jié)合時考慮到特征圖的空間尺寸減小，分支數(shù)逐漸減少。最初階段特征圖通過四個分支，最后階段特征圖僅使用一個分支。語義分割任務(wù)中在一般網(wǎng)絡(luò)中添加局部PyConv模塊和全局PyConv模塊。這兩個模塊都包括使用1*1卷積將通道數(shù)增加到512，后使用四分支的PyConv模塊，卷積核包括9，7，5，3，分組數(shù)分別為16，8，4，2。不同的是全局PyConv模塊需要使用Adaptive平均池化層減少特征圖大小同時提取全局特征。PyConv分支后使用上采樣恢復(fù)原始尺寸。之后將局部PyConv提取的特征和全局PyConv提取的特征合并。

Experiment

該模塊在ImageNet圖像分類數(shù)據(jù)集任務(wù)上表現(xiàn)如下：

近年知名插件比較如下：

該模塊在ADE20k語義分割數(shù)據(jù)集上表現(xiàn)如下：

總結(jié)

以上是生活随笔為你收集整理的【神经网络架构】Pyramidal Convlution(PyConv)：金字塔卷积，“即插即用“，提升你的网络性能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。