DL之SqueezeNet：SqueezeNet算法的簡(jiǎn)介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略

?

?

?

目錄

SqueezeNet算法的簡(jiǎn)介(論文介紹)

1、輕量級(jí)的CNN架構(gòu)優(yōu)勢(shì)

2、主要特點(diǎn)

3、常用的模型壓縮技術(shù)

SqueezeNet算法的架構(gòu)詳解

SqueezeNet算法的案例應(yīng)用

---

?

?

?

?

?

?

相關(guān)文章
DL之SqueezeNet：SqueezeNet算法的簡(jiǎn)介(論文介紹)、架構(gòu)詳解、案例應(yīng)用等配圖集合之詳細(xì)攻略
DL之SqueezeNet：SqueezeNet算法的架構(gòu)詳解

SqueezeNet算法的簡(jiǎn)介(論文介紹)

? ? ? ?本文提出的SqeezeNet在ImageNet上實(shí)現(xiàn)了和AlexNet相同的正確率，但是只使用了1/50的參數(shù)。更進(jìn)一步，使用模型壓縮技術(shù)，可以將SqueezeNet壓縮到0.5MB，這是AlexNet的1/510。

?

ABSTRACT
? ? ? Recent research on deep convolutional neural networks (CNNs) has focused primarily ?on improving accuracy. For a given accuracy level, it is typically possible ?to identify multiple CNN architectures that achieve that accuracy level. With ?equivalent accuracy, smaller CNN architectures offer at least three advantages:
(1) ?Smaller CNNs require less communication across servers during distributed training. ?
(2) Smaller CNNs require less bandwidth to export a new model from the ?cloud to an autonomous car.
(3) Smaller CNNs are more feasible to deploy on FPGAs ?and other hardware with limited memory.
? ? ? To provide all of these advantages, ?we propose a small CNN architecture called SqueezeNet. SqueezeNet achieves ?AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, ?with model compression techniques, we are able to compress SqueezeNet to less ?than 0.5MB (510× smaller than AlexNet). ?The SqueezeNet architecture is available for download here:
https://github.com/DeepScale/SqueezeNet
摘要
? ? ? 最近對(duì)深卷積神經(jīng)網(wǎng)絡(luò)（CNN）的研究主要集中在提高精度上。對(duì)于給定的準(zhǔn)確度水平，通常可以識(shí)別實(shí)現(xiàn)該準(zhǔn)確度水平的多個(gè)CNN架構(gòu)。具有同等精度的小型CNN架構(gòu)至少有三個(gè)優(yōu)點(diǎn)：
(1) 小型CNN在分布式訓(xùn)練期間，需要較少的服務(wù)器間通信。
(2) 較小的cnn需要更少的帶寬來(lái)將新模型從云端導(dǎo)出到自動(dòng)駕駛汽車上。
(3) 更小的CNN更適合部署在 FPGAs和內(nèi)存有限的其他硬件上。
? ? ? 為了提供所有這些優(yōu)勢(shì)，我們提出了一個(gè)叫做SqueezeNet 的小型CNN架構(gòu)。SqueezeNet 在ImageNet上實(shí)現(xiàn)了?AlexNet級(jí)別的精度，參數(shù)減少了50倍。另外，利用模型壓縮技術(shù)，我們能夠?qū)D壓網(wǎng)壓縮到小于0.5MB（510×小于Alexnet）。Squeezenet架構(gòu)可在此處下載：https://github.com/deepscale/squezenet網(wǎng)站

CONCLUSIONS ?
? ? ? In this paper, we have proposed steps toward a more disciplined approach to the design-space exploration ?of convolutional neural networks. Toward this goal we have presented SqueezeNet, a CNN ?architecture that has 50× fewer parameters than AlexNet and maintains AlexNet-level accuracy on ?ImageNet. We also compressed SqueezeNet to less than 0.5MB, or 510× smaller than AlexNet ?without compression. Since we released this paper as a technical report in 2016, Song Han and ?his collaborators have experimented further with SqueezeNet and model compression. Using a new ?approach called Dense-Sparse-Dense (DSD) (Han et al., 2016b), Han et al. use model compression ?during training as a regularizer to further improve accuracy, producing a compressed set of ?SqueezeNet parameters that is 1.2 percentage-points more accurate on ImageNet-1k, and also producing ?an uncompressed set of SqueezeNet parameters that is 4.3 percentage-points more accurate, ?compared to our results in Table 2.
? ? ? We mentioned near the beginning of this paper that small models are more amenable to on-chip ?implementations on FPGAs. Since we released the SqueezeNet model, Gschwend has developed ?a variant of SqueezeNet and implemented it on an FPGA (Gschwend, 2016). As we anticipated, ?Gschwend was able to able to store the parameters of a SqueezeNet-like model entirely within the ?FPGA and eliminate the need for off-chip memory accesses to load model parameters. ?
? ? ? In the context of this paper, we focused on ImageNet as a target dataset. However, it has become ?common practice to apply ImageNet-trained CNN representations to a variety of applications such ?as fine-grained object recognition (Zhang et al., 2013; Donahue et al., 2013), logo identification in ?images (Iandola et al., 2015), and generating sentences about images (Fang et al., 2015). ImageNet trained ?CNNs have also been applied to a number of applications pertaining to autonomous driving, ?including pedestrian and vehicle detection in images (Iandola et al., 2014; Girshick et al., ?2015; Ashraf et al., 2016) and videos (Chen et al., 2015b), as well as segmenting the shape of the ?road (Badrinarayanan et al., 2015). We think SqueezeNet will be a good candidate CNN architecture ?for a variety of applications, especially those in which small model size is of importance. ?
? ? ? SqueezeNet is one of several new CNNs that we have discovered while broadly exploring the design ?space of CNN architectures. We hope that SqueezeNet will inspire the reader to consider and ?explore the broad range of possibilities in the design space of CNN architectures and to perform that ?exploration in a more systematic manner.
結(jié)論
? ? ? 在這篇文章中，我們提出了一個(gè)步驟，朝著更規(guī)范的方法設(shè)計(jì)空間探索卷積神經(jīng)網(wǎng)絡(luò)。為了實(shí)現(xiàn)這一目標(biāo)，我們介紹了SqueezeNet，一種CNN架構(gòu)，它的參數(shù)比Alexnet少50倍，并且在ImageNet上保持了Alexnet級(jí)別的準(zhǔn)確性。我們還將SqueezeNet 壓縮到小于0.5MB，或者比沒(méi)有壓縮的AlexNet ?小510×。自從我們?cè)?016年發(fā)布了這篇論文作為技術(shù)報(bào)告以來(lái)，Song Han和他的合作者已經(jīng)在SqueezeNet 和模型壓縮方面做了進(jìn)一步的試驗(yàn)。使用一種稱為Dense-Sparse-Dense （DSD）的新方法（Han等人，2016b），Han等人在訓(xùn)練期間使用模型壓縮作為調(diào)節(jié)器，進(jìn)一步提高精度，生成一組壓縮后的SqueezeNet 參數(shù)，在ImageNet-1k上精確1.2個(gè)百分點(diǎn)，并生成一組未壓縮的SqueezeNet 參數(shù)，該參數(shù)比ImageNet-1k高4.3個(gè)百分點(diǎn)。與表2中的結(jié)果相比，準(zhǔn)確率為表2所示。
? ? ? 在本文的開(kāi)頭，我們提到了小模型更適合于在FPGA上的片上實(shí)現(xiàn)。自從我們發(fā)布了SqueezeNet 模型以來(lái)， Gschwend開(kāi)發(fā)了SqueezeNet 的一個(gè)變體，并在FPGA上實(shí)現(xiàn)了它（Gschwend，2016）。正如我們預(yù)期的那樣，Gschwend能夠完全在FPGA中存儲(chǔ)一個(gè)類似SqueezeNet 的模型的參數(shù)，并且不需要片外存儲(chǔ)器訪問(wèn)加載模型參數(shù)。
? ? ? 在本文的背景下，我們將ImageNet 作為一個(gè)目標(biāo)數(shù)據(jù)集。然而，將ImageNet 訓(xùn)練過(guò)的CNN表示應(yīng)用到各種應(yīng)用中已成為常見(jiàn)的做法，例如細(xì)粒度對(duì)象識(shí)別（Zhang等人，2013；Donahue等人，2013）、圖像中的logo 識(shí)別（Iandola等人，2015）和生成關(guān)于圖像的句子（Fang等人，2015年）。ImageNet訓(xùn)練的 CNN還應(yīng)用于與自動(dòng)駕駛相關(guān)的許多應(yīng)用，包括圖像中的行人和車輛檢測(cè)（Iandola等人，2014；Girshick等人，2015；Ashraf等人，2016）和視頻（Chen等人，2015b），以及道路形狀分割（Badrinarayanan等人，2015年）。我們認(rèn)為SqueezeNet 將是CNN各種應(yīng)用的一個(gè)很好的候選架構(gòu)，尤其是那些小型型號(hào)的應(yīng)用。
? ? ? Squeezenet是我們?cè)趶V泛探索CNN體系結(jié)構(gòu)的設(shè)計(jì)空間時(shí)發(fā)現(xiàn)的幾種新的CNN之一。我們希望，SqueezeNet 能夠激勵(lì)讀者思考和探索CNN架構(gòu)設(shè)計(jì)空間中的各種可能性，并以更系統(tǒng)的方式進(jìn)行這種探索。

?

1、輕量級(jí)的CNN架構(gòu)優(yōu)勢(shì)

對(duì)于相同的正確率水平，輕量級(jí)的CNN架構(gòu)可以提供如下的優(yōu)勢(shì)：
（1）在分布式訓(xùn)練中，與服務(wù)器通信需求更小。
（2）參數(shù)更少，從云端下載模型的數(shù)據(jù)量小。
（3）更適合在FPGA和嵌入式硬件設(shè)備上部署。

? ? ? ?本文提出的SqeezeNet在ImageNet上實(shí)現(xiàn)了和AlexNet相同的正確率，但是只使用了1/50的參數(shù)。更進(jìn)一步，使用模型壓縮技術(shù)，可以將SqueezeNet壓縮到0.5MB，這是AlexNet的1/510。

?

2、主要特點(diǎn)

• 1、提出了新的網(wǎng)絡(luò)架構(gòu)Fire Module，通過(guò)減少參數(shù)來(lái)進(jìn)行模型壓縮。
• 2、使用其它方法，對(duì)提出的SqeezeNet模型進(jìn)行進(jìn)一步壓縮。
• 3、對(duì)參數(shù)空間進(jìn)行了探索，主要研究了壓縮比和3×3卷積比例的影響。
• 4、注意SqueezeNet中沒(méi)有全連接的層; 這種設(shè)計(jì)選擇的靈感來(lái)自NIN架構(gòu)。

?

3、常用的模型壓縮技術(shù)

• (1）奇異值分解(singular value decomposition (SVD))
• (2）網(wǎng)絡(luò)剪枝（Network Pruning）：使用網(wǎng)絡(luò)剪枝和稀疏矩陣
• (3）深度壓縮（Deep compression）: 使用網(wǎng)絡(luò)剪枝，數(shù)字化和huffman編碼
• (4）硬件加速器（hardware accelerator）

?

論文
Forrest N. Landola, Song Han , Matthew W. Moskewicz, Khalid Ashraf , William J. Dally , Kurt Keutzer.
Squeezenet: AlexNet-level Accuracy With 50X Fewer Parameters and <0.5MB Model Size, ICLR 2017.
https://arxiv.org/abs/1602.07360

GitHub
后期更新……

?

?

?

SqueezeNet算法的架構(gòu)詳解

DL之SqueezeNet：SqueezeNet算法的架構(gòu)詳解

?

?

?

SqueezeNet算法的案例應(yīng)用

更新……

?

?

?

?

?

?

?

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的DL之SqueezeNet：SqueezeNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。