池化层对神经网络的运算速度有什么影响
雖然加入池化層是為了使網絡獲得抗扭曲,抗拉伸的特性并不完全是為了計算效率考慮,但加入池化層到底對計算速度有什么影響?這里設計了兩個網絡做對比,
其中一個是有2個卷積層,2層全連接層的神經網絡,另一個是2層卷積層,2層池化層,2層全連接層的神經網絡。兩個網絡都是輸入的28*28的圖片,收斂條件一樣,通過計算迭代次數比較兩個網絡的效率。
?為了方便描述將網絡的各層稱作 n1*n2*n3*n4 ,比如288*120*80*10 ?,n1指288,n4指10.需要經過12851次迭代才能收斂。
可以看到無論是否有池化層,當n3=100,隨著n2的增加性能變化不大,當n3=300,隨著n2的增加有變慢的趨勢,當n3=200時隨著n2的增加,性能明顯大幅提升。
并且無論是否增加池化層兩個網絡最優的參數配置都是200*200*10 ,500*200*10,600*200*10.
所以分別對這3個參數做了對比,每個參數都運行了10次,
可以看到沒有加池化層的網絡最優的參數是600*200*10 共測試10次平均迭代次數2224,有池化層的最優參數是200*200*10,平均只需要1691次迭代就可以收斂。比無池化的網絡的最優參數600*200*10的性能提到了23%。如果對比同參數的無池化的200*200*10的2436,則性能提升超過30%。
可見池化層不僅可以使網絡獲得抗扭曲,抗拉伸的特性,并且對提高收斂速度也有幫助,并且可以改變網絡的最佳參數的位置。
總結
以上是生活随笔為你收集整理的池化层对神经网络的运算速度有什么影响的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 立体神经网络模拟连续不完备系统
- 下一篇: 3*3卷积核 5*5卷积核到底有多大区别