歡迎大家來到《知識星球》專欄，這里是網絡結構1000變小專題，我們要慢慢開始更新AutoML與網絡設計相關的內容。

作者&編輯 | 言有三

1 MixNet

有三AI知識星球-網絡結構1000變

MixNet

基于Depthwise的分組卷積是一個非常有效的模型設計，不過它們通常是用同樣大小的卷積核，MixNet則使用了可學習的多尺度卷積核提升其性能。

作者/編輯 言有三

我們在前面已經給大家講述過許多的分組卷積模型，比如MobileNet V1/V2中全部都是使用3*3，如果使用其他大小的卷積核，性能如何呢？

上面是實驗對比，可以發現隨著卷積核增加，性能有增加的趨勢，雖然到了9*9之后性能會下降。

既然不同的卷積核大小有性能的差異，說明各自還是學習到了不同的特征表達，再參考到Inception等多尺度結構，自然就可以想到用不同大小的卷積核進行實驗。

網絡結構如上，關于使用多少種不同尺度的卷積核，有兩種思路。第一種，就是人工設定，比如使用3x3, 5x5, 7x7, 9x9等四種卷積核，各自的通道數量可以均分。

當然更好的方式就是基于學習了，讓其對卷積核的種類和通道數量劃分進行搜索，看看實驗對比如下：

上圖展示的是在不同計算量下的兩套模型的性能對比，上表展示的是具體的指標，結果當然是MixNet性能更優秀了。

[1] Tan M, Le Q V. MixNet: Mixed Depthwise Convolutional Kernels[J]. arXiv preprint arXiv:1907.09595, 2019.

2 ScaleNet

有三AI知識星球-網絡結構1000變

ScaleNet

分組網絡的不同分支可以擁有同樣的感受野，也可以擁有不同的感受野，不過以往都是通過手動進行分配。然而不同的感受野對于不同的任務來說，應該有不同的重要性，ScaleNet就可以學習到不同的權重。

作者/編輯 言有三

網絡結構如上，可以看到不同尺度在不同網絡層的比例不同，整體結構與一般分組卷積無異。

ScaleNet具體的流程是：

(1) 初始化，每個尺度的通道數量進行均勻分配。

(2) 訓練該網絡直到收斂。

(3) 根據BN層的縮放因子，在滿足計算量的約束下，選擇其中最重要的一些分支。

(4) 得到新的網絡，重新訓練該網絡。

作者們將這個結構替換掉ResNet中的基本單元，如下：

使用ResNet系列在ImageNet上面的訓練結果如下：

可以發現以更低的flops取得了更高的精度，下圖展示了各個網絡層的統計。

可以看出，不同層所需的尺度比例，即對感受野的需求是不同的。

參考文獻

[1] Li Y, Kuang Z, Chen Y, et al. Data-Driven Neuron Allocation for Scale Aggregation Networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 11526-11534.

3 關于有三AI知識星球

有三AI知識星球是我們繼公眾號之后重點打造的原創知識學習社區，有需要的同學可以閱讀下文了解生態。

大家可以預覽一些內容如下，添加有三微信Longlongtogo加入可以優惠。

以上所有內容

加入有三AI知識星球即可獲取

來日方長

點擊加入

不見不散

更多精彩

每日更新

轉載文章請后臺聯系

侵權必究

往期精選

總結

以上是生活随笔為你收集整理的【知识星球】卷积核和感受野可动态分配的分组卷积的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。