大家好，歡迎來(lái)到專欄《AutoML》，在這個(gè)專欄中我們會(huì)講述AutoML技術(shù)在深度學(xué)習(xí)中的應(yīng)用，這一期講述在模型剪枝中的應(yīng)用。

作者&編輯 | 言有三

我們往期的文章中介紹了各種各樣的模型壓縮技巧，那么是否也可以使用AutoML技術(shù)來(lái)用于模型壓縮，比如剪枝呢。

1 AMC

AutoML for Model Compression(AMC)是一個(gè)利用強(qiáng)化學(xué)習(xí)自動(dòng)搜索并提高模型剪枝算法質(zhì)量的框架，其完整的流程如下：

在一般的剪枝算法中，我們通常遵循一些基本策略：比如在提取低級(jí)特征的參數(shù)較少的第一層中剪掉更少的參數(shù)，對(duì)冗余性更高的FC層剪掉更多的參數(shù)。然而，由于深度神經(jīng)網(wǎng)絡(luò)中的層不是孤立的，這些基于規(guī)則的剪枝策略并不是最優(yōu)的，也不能從一個(gè)模型遷移到另一個(gè)模型。

AMC方法便是在該背景下，利用強(qiáng)化學(xué)習(xí)自動(dòng)搜索并提高模型壓縮的質(zhì)量，該框架是每一層進(jìn)行獨(dú)立壓縮，前一層壓縮完之后再往后層進(jìn)行傳播，t層接受該層的輸入特征s_t，輸出稀疏比率a_t，按照a_t對(duì)該層進(jìn)行壓縮后，智能體移動(dòng)到下一層L_t+1，使用驗(yàn)證集精度作為評(píng)估，偽代碼如下：

作者們對(duì)兩類場(chǎng)景進(jìn)行了實(shí)驗(yàn)，第一類是受延遲影響較大的應(yīng)用如移動(dòng)APP，使用的是資源受限的壓縮，這樣就可以在滿足低FLOP和延遲，小模型的情況下實(shí)現(xiàn)最好的準(zhǔn)確率；這一類場(chǎng)景作者通過(guò)限制搜索空間來(lái)實(shí)現(xiàn)，在搜索空間中，動(dòng)作空間（剪枝率）受到限制，使得被智能體壓縮的模型總是低于資源預(yù)算。

另一類是追求精度的應(yīng)用如Google Photos，就需要在保證準(zhǔn)確率的情況下壓縮得到更小的模型。對(duì)于這一類場(chǎng)景，作者定義了一個(gè)獎(jiǎng)勵(lì)，它是準(zhǔn)確率和硬件資源的函數(shù)?；谶@個(gè)獎(jiǎng)勵(lì)函數(shù)，智能體在不損害模型準(zhǔn)確率的前提下探索壓縮極限。

每一層的狀態(tài)空間為(t, n, c, h, w, stride, k, FLOP s[t], reduced, rest, at?1)，t是層指數(shù)，輸入維度是n×c×k×k，輸入大小是c×h×w，reduces就是前一層減掉的flops，rest是剩下的flops。

因?yàn)榧糁?duì)通道數(shù)特別敏感，所以這里不再是使用離散的空間，如{128,256}，而是使用連續(xù)的空間，使用deep deterministic policy gradient (DDPG)來(lái)控制壓縮比率，完整的算法流程如下：

對(duì)于細(xì)粒度的剪枝，可以使用權(quán)重的最小幅度作為閾值，對(duì)于通道級(jí)別的壓縮，可以使用最大響應(yīng)值。

在谷歌Pixel-1 CPU和MobileNet模型上，AMC實(shí)現(xiàn)了1.95 倍的加速，批大小為1，節(jié)省了34%的內(nèi)存。在英偉達(dá)Titan XP GPU 上，AMC實(shí)現(xiàn)了1.53 倍的加速，批大小為50。

2 關(guān)于模型優(yōu)化的推薦資料

如果說(shuō)要我在深度學(xué)習(xí)這么多方向里選擇一個(gè)的話，我會(huì)毫不猶豫地選擇模型優(yōu)化，這也是我一直在做的事情。

公眾號(hào)寫(xiě)過(guò)很多的模型解讀了，如下是一些總結(jié)：

知識(shí)星球也有一個(gè)模型結(jié)構(gòu)1000變板塊，是比公眾號(hào)的內(nèi)容更深更廣。如果感興趣的話這周加入最合適，雙十一優(yōu)惠還在。

之前在阿里天池也做了幾場(chǎng)直播，往期視頻如下：

模型的優(yōu)化技術(shù)包括設(shè)計(jì)更高效的模型結(jié)構(gòu)，模型剪枝，量化技術(shù)等，如今隨著AutoML技術(shù)的發(fā)展，也有了更廣闊的空間，下面提供了一些參考資料大家可有閱讀。

[1]?He Y, Lin J, Liu Z, et al. Amc: Automl for model compression and acceleration on mobile devices[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 784-800.

[2]?Luo J H, Wu J. Autopruner: An end-to-end trainable filter pruning method for efficient deep model inference[J]. arXiv preprint arXiv:1805.08941, 2018.

[3]?Zhou D, Jin X, Wang K, et al. Deep Model Compression via Filter Auto-sampling[J]. arXiv preprint arXiv:1907.05642, 2019.

[4] Carreira-Perpinán M A, Idelbayev Y. “Learning-Compression” Algorithms for Neural Net Pruning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8532-8541.

總結(jié)

這次我們介紹了AutoML在模型剪枝中的一個(gè)經(jīng)典案例，實(shí)際上還有更多的內(nèi)容，感興趣的歡迎后續(xù)到有三AI知識(shí)星球中獲取。

下期預(yù)告：AutoML在模型量化中的應(yīng)用。

有三AI秋季劃

有三AI秋季劃已經(jīng)正式啟動(dòng)報(bào)名，模型優(yōu)化，人臉?biāo)惴?#xff0c;圖像質(zhì)量共24個(gè)項(xiàng)目，助力提升深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)算法和工程項(xiàng)目能力。

轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系

侵權(quán)必究

往期文章

總結(jié)

以上是生活随笔為你收集整理的【AutoML】如何使用强化学习进行模型剪枝？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。