什么是采样层(pooling)
<!--一個博主專欄付費入口結(jié)束--><link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"><link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-4a3473df85.css"><div class="htmledit_views" id="content_views">
各位看官老爺們
好久不見
這里是波波給大家?guī)淼腃NN卷積神經(jīng)網(wǎng)絡(luò)入門講解
每周我將給大家?guī)斫^對原創(chuàng),腦洞大開,幽默風(fēng)趣的深度學(xué)習(xí)知識點入門講解
希望大家多多支持,多多關(guān)注
微信公眾號:follow_bobo
知乎:蔣竺波
今天是平安夜,希望大家未來的日子里平平安安
今年第一次圣誕節(jié)在新加坡過
先讓我們來看看新加坡的圣誕
看看就好了
上一次我們講到哪了
嗯,對了,講到卷積輸出了,輸出的特征圖(feature map)到了采樣(pooling,有些也叫subsample)層手上,
采樣層實際上就是一個特征選擇的過程
假設(shè)我們用邊緣濾波器去卷積輸入圖片,得到的特征值矩陣如下:
其實采樣層(pooling)非常好理解,我們這里特指maxpooling
什么是maxpooling 呢
實際操作就是在四個方格里選最大的那個,對,就是9
這個矩陣就是特征圖
數(shù)字的含義,你可以理解為能代表這個特征的程度
比如上一層卷積層的卷積核或者說過濾器是邊緣過濾器
9的意思就代表在這個區(qū)域,這一塊部位最符合邊緣特征
Maxpooling 就是在這個區(qū)域內(nèi)選出最能代表邊緣的值,也就是9,然后丟掉那些沒多大用的信息
為什么要這么做
舉個例子
下面四個美女,如果非要你選,你娶誰
你肯定會選最漂亮的(最符合的特征)
其他的你會想要嗎?
不想了吧
我相信這個選擇應(yīng)該有標(biāo)準(zhǔn)答案了,如果你選的不是標(biāo)準(zhǔn)答案
不好意思
這位同學(xué),我教不了你,你不用往下看了
‘那個,我要是想把4個都娶了呢’(不做maxpooling)
這位同學(xué),要求挺多啊
首先你娶回4個,她們會各種勾心斗角,讓你崩潰(overfitting)
然后你會有巨大的經(jīng)濟壓力,身體也吃不消(參數(shù)過多導(dǎo)致運算量大)
最后可能還會難以平衡婆(上一次卷積層)媳或者母子(下一層卷積層)關(guān)系(無法滿足模型結(jié)構(gòu)需求)
現(xiàn)在,你還想娶4個嗎
池化是怎么進行的呢
非常類似卷積層的卷積核
你就可以理解為卷積核每空兩格做一次卷積,卷積核的大小是2x2, 但是卷積核的作用是取這個核里面最大的值(即特征最明顯的值),而不是做卷積運算
池化層還有什么性質(zhì)
它可以一定程度提高空間不變性,比如說平移不變性,尺度不變性,形變不變性
對,一定程度上
為什么會有空間不變性呢
因為上一層卷積本身就是對圖像一個區(qū)域一個區(qū)域去卷積
因此對于CNN來說
重要是單獨區(qū)域的特征,以及特征之間的相對位置(而不是絕對位置)
圖像細微的變換
經(jīng)過卷積,maxpooling之后,輸出結(jié)果和原來差別可能不算大,或者沒有差別
比如平移不變性(translation invariant)
意思就是圖像經(jīng)過一個小小的平移之后,依然產(chǎn)生相同的池化特征
這個小小的平移要注意了
這個平移是在你的池化矩陣的范圍
對于單個像素,有8個變換的方向(上、下、左、右、左上、左下、右上、右下),如果最大層是在2*2的窗口上面實現(xiàn),這8個可能的配置中,有3個可以準(zhǔn)確的產(chǎn)生和平移前相同的結(jié)果(filter size 2x2)
說明魯棒性還行
為什么我們想要平移不變性
舉個例子:
‘2’的位置發(fā)生了變化,我們?nèi)匀幌M诸惼髂苷_分別出他們
Pooling 層說到底還是一個特征選擇,信息過濾的過程,也就是說我們損失了一部分信息,這是一個和計算性能的一個妥協(xié),隨著運算速度的不斷提高,我覺得這個妥協(xié)會越來越小。
現(xiàn)在有些網(wǎng)絡(luò)都開始少用或者不用pooling層了
關(guān)于,average pooling
實際上就是把filter 里面的所以值求一個平均值
特征提取的誤差主要來自兩個方面:
(1)鄰域大小受限;
(2)卷積層權(quán)值參數(shù)誤差。
目前主流上對于average pooling 和max-pooling 的主要區(qū)別在于
average -pooling能減小第一種誤差,更多的保留圖像的背景信
max-pooling能減小第二種誤差,更多的保留紋理信息
平安夜還看我的教程的
多半是單身狗
當(dāng)然,平安夜寫教程的,多半也是
那么
祝點贊的各位,女朋友長得和里面最漂亮的一樣
總結(jié)
以上是生活随笔為你收集整理的什么是采样层(pooling)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: snagit屏幕截图转pdf
- 下一篇: 彻底解决python打印结果省略号的问题