ZFNet

1、四個(gè)問(wèn)題

要解決什么問(wèn)題？

• 卷積神經(jīng)網(wǎng)絡(luò)具有很好的效果，在ImageNet上取得了開(kāi)創(chuàng)性的成果，但是我們對(duì)其卻沒(méi)有一個(gè)直觀的認(rèn)識(shí)，以及它為何效果這么好，全當(dāng)成黑盒子來(lái)用。

用了什么方法解決？

• 提出了一個(gè)新的卷積神經(jīng)網(wǎng)絡(luò)可視化技術(shù)，來(lái)輔助觀察中間層以及最后的分類層的輸出特征圖。
• 提出了ZFNet，并應(yīng)用了反卷積技術(shù)來(lái)做可視化。

效果如何？

• ZFNet的效果在ImageNet上超過(guò)了AlexNet，這篇論文是14年的，放到現(xiàn)在效果不算最好。
• 中間層可視化，不同層注重的部分可以較明顯地看出來(lái)。

還存在什么問(wèn)題？

• 這篇文章主要是幫助理解CNN內(nèi)部工作機(jī)制的，了解思路就足夠了。

2、論文概述

2.1、實(shí)現(xiàn)方法

• 實(shí)驗(yàn)主要使用AlexNet和LeNet。
• 使用反卷積（deconvnet）網(wǎng)絡(luò)來(lái)進(jìn)行可視化操作。提出了一種將激活值映射回輸入時(shí)的像素空間的方法，從結(jié)果可以看出輸入特征圖的哪些部分造成了特征圖的激活。
• 網(wǎng)絡(luò)的每一層都使用一個(gè)反卷積得到像素級(jí)的輸出，輸入是feature map，輸出是圖像像素，如下圖所示。右圖是正常卷積過(guò)程，左圖是反卷積過(guò)程。

• 過(guò)程分為三部分：unpooling --> rectification -->filtering。
  • unpooling（反池化）：卷積神經(jīng)網(wǎng)絡(luò)中的max_pooling操作是不可逆的，但是可以用一組switch變量來(lái)記錄它激活的位置（每個(gè)pooling region中最大值的位置），來(lái)進(jìn)行一個(gè)近似的反卷積。
  • rectification（ReLU激活）：卷積神經(jīng)網(wǎng)絡(luò)中使用ReLU作為激活函數(shù)，ReLU的性質(zhì)就是正值部分保留不變，其余置0。我們重構(gòu)時(shí)，也可以使用ReLU進(jìn)行激活，結(jié)果不變。
  • filtering（反卷積，deconv）：CNN使用訓(xùn)練得到的卷積核對(duì)前一層的輸入進(jìn)行卷積得到特征圖，反卷積就是將這個(gè)過(guò)程反過(guò)來(lái)，使用那些卷積核的轉(zhuǎn)置對(duì)下一層進(jìn)行卷積，得到前面層的值。注意到，這里對(duì)卷積核的操作是轉(zhuǎn)置，所以也叫作“轉(zhuǎn)置卷積”。

2.2、可視化

2.2.1、特征可視化

• 通過(guò)對(duì)各層卷積核學(xué)習(xí)到的特征進(jìn)行可視化發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征存在層級(jí)結(jié)構(gòu)。
  • 第二層是學(xué)習(xí)到邊緣和角點(diǎn)檢測(cè)器.
  • 第三層學(xué)習(xí)到了一些紋理特征.
  • 第四層學(xué)習(xí)到了對(duì)于指定類別圖像的一些不變性的特征，例如狗臉、鳥(niǎo)腿.
  • 第五層得到了目標(biāo)更顯著的特征并且獲取了位置變化信息。

2.2.2、訓(xùn)練期間特征的演變

• 低層特征經(jīng)過(guò)較少epoch的訓(xùn)練過(guò)程之后就學(xué)習(xí)的比較穩(wěn)定了，層數(shù)越高越需要更多的epoch進(jìn)行訓(xùn)練。因此需要足夠多的epoch過(guò)程來(lái)保證順利的模型收斂。

2.2.3、特征不變性

• 平移影響不大，旋轉(zhuǎn)影響較大。卷及神經(jīng)網(wǎng)絡(luò)具有平移不變形，但不具有旋轉(zhuǎn)不變性。

2.2.4、網(wǎng)絡(luò)結(jié)構(gòu)選擇

• 在AlexNet的結(jié)構(gòu)基礎(chǔ)之上修改的，網(wǎng)絡(luò)結(jié)構(gòu)上沒(méi)有太多的創(chuàng)新。

• 作者通過(guò)可視化AlexNet第一層和第二層的特征，發(fā)現(xiàn)比較大的stride和卷積核提取的特征不理想，所以作者將第一層的卷積核從$11?11$減小到$7?7$，將stride從4減小到2，實(shí)驗(yàn)說(shuō)明，這樣有助于分類性能的提升。

2.2.5、遮擋分析

• 遮擋實(shí)驗(yàn)說(shuō)明圖像的關(guān)鍵區(qū)域被遮擋之后對(duì)分類性能有很大的影響，說(shuō)明分類過(guò)程中模型明確定位出了場(chǎng)景中的物體。

2.2.6、一致性分析

• 不同圖像的指定目標(biāo)局部塊之間是否存在一致性的關(guān)聯(lián)，作者認(rèn)為深度模型可能默認(rèn)學(xué)習(xí)到了這種關(guān)聯(lián)關(guān)系。作者通過(guò)對(duì)五張不同的狗的圖像進(jìn)行局部遮擋，然后分析原圖和遮擋后的圖像的特征之間的漢明距離的和值，值越小說(shuō)明一致性越大。實(shí)驗(yàn)表明，對(duì)不同的狗的圖像遮擋左眼、右眼和鼻子之后的漢明距離小于隨機(jī)遮擋，證明存在一定的關(guān)聯(lián)性。

3、參考資料

Visualizing and Understanding Convolutional Networks

一個(gè)講解神經(jīng)網(wǎng)絡(luò)可視化的博客

https://blog.csdn.net/cdknight_happy/article/details/78855172

總結(jié)

以上是生活随笔為你收集整理的论文笔记：ZFNet的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。