為了比較3*3卷積核 和 5*5卷積核在性能上到底有多大區別設計了兩個網絡去進行對比，

1.兩個3*3的卷積核，2個池化層，2個全連接層

2.兩個5*5的卷積核，2個池化層，2個全連接層

兩個網絡的收斂標準，權重的初始化方式都是一樣，學習率都是0.5不變，輸入的都是一張28*28的圖片，通過改變全連接層的節點數觀察效果：

?

?

為了方便秒速將 288*120*80*10的網絡稱為n1*n2*n3*n4 , n1為288 ，12851表明經過12851次迭代以后收斂

對比明顯表明無論兩個網絡的卷積核是5*5還是3*3，在n3=200時性能都有很大的提升。

所以將n3=200的情況分別做了計算

?

?

?

計算表明3*3的卷積核在參數為400*200*10的時候性能最優，5*5的卷積核在參數200*200*10的時候性能最優

?

但10次計算畢竟還是太少了，分別針對真兩個參數每個做了50次運算

?

?

經過50次運算3*3的卷積核在參數400*200*10時平均迭代次數1841次，

5*5的卷積核在參數200*200*10的時候平均迭代次數2001次，性能提升了7.9%。

所以對于28*28的小圖片3*3的卷積核的收斂速度更快，性能提升顯著。

?

?

*** ***

在2018年12月29日《神經網絡收斂標準與準確率之間的數學關系》

得到了對應一個帶卷積核，分類0和2的網絡。迭代次數n，收斂標準δ，神經網絡的準確率p-max之間的一組數學表達式

?

可用于推算對應準確率p-max小于0.995時需要的迭代次數和時間。
?

總結

以上是生活随笔為你收集整理的3*3卷积核 5*5卷积核到底有多大区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。