MobileNet论文阅读笔记
目錄
論文鏈接：
摘要：
網絡結構
MobileNet架構
MobileNet的兩個超參數
實驗結果
論文鏈接：
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
發表時間：2017年
作者：?Menglong Zhu
摘要：
本文提出的MobileNets基于流線型架構，使用深度可分離卷積來構建輕量級深度神經網絡。介紹了兩個簡單的全局超參數（寬度乘法器和分辨率乘法器），它們可以在延遲和準確性之間進行有效的折衷。這些超參數允許模型構建者根據問題的約束為其應用程序選擇合適大小的模型。
網絡結構
- 深度可分離卷積
(a)中的標準卷積濾波器被兩層代替：（b）中的深度卷積和（c）中的逐點卷積以構建深度可分離的濾波器
- 計算量
假定輸入特征圖大小是：
輸出特征圖大小是：
對于標準的卷積：
計算量將是：
depthwise convolution計算量為：
pointwise convolution計算量是：
depthwise separable convolution總計算量是
可以比較depthwise separable convolution和標準卷積如下：
MobileNet架構
MobileNet基礎結構中，依然在Depthwise和Pointwise中間和后面使用bn+ReLU來優化模型。
MobileNet的兩個超參數
- 寬度乘數：稀疏模型
為了構造這些更小，計算量更小的模型，我們引入了一個非常簡單的參數α，稱為寬度乘法器。寬度乘數α的作用是通過按比例減少通道數在每層均勻地減薄網絡。對于給定的層和寬度乘數α，輸入通道M的數量變為αM，輸出通道數量N變為αN。
具有寬度乘法器α的深度可分離卷積的計算成本為：
α范圍為（0，1],通常設置為1，0.75，0.5和0.25
- 分辨率乘數：簡化表示
分辨率乘數ρ用來改變輸入數據層的分辨率，其中ρ范圍為（0，1]通常隱式設置，以便網絡的輸入分辨率為224,192,160或128。ρ=1是MobileNet的基線，ρ<1是計算MobileNets的縮減。我們現在可以將網絡核心層的計算成本表示為深度可分卷積，其中寬度乘法器α和分辨率乘法器ρ：
實驗結果
（1)同樣是MobileNets的架構，使用可分離卷積，精度值下降1%，而參數僅為1/7;
? (2)深且瘦（Narrow）的網絡比淺且胖（Shallow）的網絡準確率高3%;
?(3)α 超參數減小的時候，模型準確率隨著模型的變瘦而下降;
?(4)ρ 超參數減小的時候，模型準確率隨著模型的分辨率下降而下降;
?(5)引入兩個參數會給肯定會降低MobileNet的性能，總結來看是在accuracy和computation，以及accuracy和model size之間做折中。
?
總結
以上是生活随笔為你收集整理的MobileNet论文阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Xception论文阅读笔记
- 下一篇： ShuffleNet论文阅读笔记