一.Xception

Xception是在InceptionV3基礎(chǔ)上修改的，主要引入了深度可分離卷積，將空間和通道的操作進(jìn)行解耦合。

與“extreme” Inception兩個(gè)區(qū)別：

1,1×1卷積的順序，Xcption用于3×3之后，而Inception用于之前

2,Xception在1×1和3×3之后都沒(méi)用relu，而Inception都用了。

3*3做空間相關(guān)性，1×1做通道相關(guān)性。

? ? ? ?

用Relu會(huì)損失一部分信息。

二.Inception-ResNet

證明了Residual learning并非深度網(wǎng)絡(luò)走向更深的必需條件，其只是可以使得深度網(wǎng)絡(luò)的訓(xùn)練速度加快而已。為了表明這一點(diǎn)，他們更是造出了更為復(fù)雜、精巧的Inception v4網(wǎng)絡(luò)，在不使用residual learning的情況下也達(dá)到了與Inception-Resnet v2近似的精度。

如果通道數(shù)超過(guò)1000，那么Inception-resnet等網(wǎng)絡(luò)都會(huì)開(kāi)始變得不穩(wěn)定，并且過(guò)早的就“死掉了”，即在迭代幾萬(wàn)次之后，平均池化的前面一層就會(huì)生成很多的0值。作者們通過(guò)調(diào)低學(xué)習(xí)率，增加BN都沒(méi)有任何改善。實(shí)驗(yàn)發(fā)現(xiàn)如果對(duì)inception-resnet網(wǎng)絡(luò)中的residual模塊的輸出進(jìn)行scaling（如乘以0.1-0.3），那么可以讓它的整個(gè)訓(xùn)練過(guò)程更加地穩(wěn)定。如下圖為scaling的具體做法示意。

三.SENet

SEnet最終目的是給各個(gè)channel增加權(quán)重，注意于通道之間的關(guān)系，2017年ILSVRC分類第一。

通過(guò)精確的建模卷積特征各個(gè)通道之間的作用關(guān)系來(lái)改善網(wǎng)絡(luò)模型的表達(dá)能力。為了達(dá)到這個(gè)期望，提出了一種能夠讓網(wǎng)絡(luò)模型對(duì)特征進(jìn)行校準(zhǔn)的機(jī)制，使網(wǎng)絡(luò)從全局信息出發(fā)來(lái)選擇性的放大有價(jià)值的特征通道并且抑制無(wú)用的特征通道。?

模型復(fù)雜度：當(dāng)r=16時(shí)，SE-ResnNet相比ResNet-50參數(shù)量?jī)H增加0.26%。

本節(jié)我們研究SE-ResNet-50模型的樣本激活，并考察它們?cè)诓煌瑝K不同類別下的分布情況。具體而言，我們從ImageNet數(shù)據(jù)集中抽取了四個(gè)類，這些類表現(xiàn)出語(yǔ)義和外觀多樣性，即金魚(yú)，哈巴狗，刨和懸崖。然后，我們從驗(yàn)證集中為每個(gè)類抽取50個(gè)樣本，并計(jì)算每個(gè)階段最后的SE塊中50個(gè)均勻采樣通道的平均激活（緊接在下采樣之前），并在圖7中繪制它們的分布。作為參考，我們也繪制所有1000個(gè)類的平均激活分布。

我們對(duì)SENets中Excitation的作用提出以下三點(diǎn)看法。首先，不同類別的分布在較低層中幾乎相同，例如，SE_2_3。這表明在網(wǎng)絡(luò)的最初階段特征通道的重要性很可能由不同的類別共享。然而有趣的是，第二個(gè)觀察結(jié)果是在更大的深度，每個(gè)通道的值變得更具類別特定性，因?yàn)椴煌悇e對(duì)特征的判別性值具有不同的偏好。SE_4_6和SE_5_1。這兩個(gè)觀察結(jié)果與以前的研究結(jié)果一致[21,46]，即低層特征通常更普遍（即分類中不可知的類別），而高層特征具有更高的特異性。因此，表示學(xué)習(xí)從SE塊引起的重新校準(zhǔn)中受益，其自適應(yīng)地促進(jìn)特征提取和專業(yè)化到所需要的程度。最后，我們?cè)诰W(wǎng)絡(luò)的最后階段觀察到一個(gè)有些不同的現(xiàn)象。SE_5_2呈現(xiàn)出朝向飽和狀態(tài)的有趣趨勢(shì)，其中大部分激活接近于1，其余激活接近于0。在所有激活值取1的點(diǎn)處，該塊將成為標(biāo)準(zhǔn)殘差塊。在網(wǎng)絡(luò)的末端SE_5_3中（在分類器之前緊接著是全局池化），類似的模式出現(xiàn)在不同的類別上，尺度上只有輕微的變化（可以通過(guò)分類器來(lái)調(diào)整）。這表明，SE_5_2和SE_5_3在為網(wǎng)絡(luò)提供重新校準(zhǔn)方面比前面的塊更不重要。這一發(fā)現(xiàn)與第四節(jié)實(shí)證研究的結(jié)果是一致的，這表明，通過(guò)刪除最后一個(gè)階段的SE塊，總體參數(shù)數(shù)量可以顯著減少，性能只有一點(diǎn)損失（<0.1%0.1%的top-1錯(cuò)誤率）。

?

總結(jié)

以上是生活随笔為你收集整理的Xception,Inception-ResNet,SENet(Squeeze-and-Excitation)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。