現(xiàn)在的模型越來越大，要模型壓縮
paddle slim是一個(gè)壓縮庫

自動(dòng)檢測(cè)電網(wǎng)周邊是否有問題，煙霧什么的


總來說分四類


原理上的：
三個(gè)中間輸出
A-卷積》B-卷積》C
通過剪掉卷積核減少通道數(shù)

那么怎么去確定，剪掉哪些參數(shù)？
重要性評(píng)估：
剪掉的比例-正確率 curve
定義是這個(gè)卷積層是否重要
L1——norm是卷積層的這個(gè)通道是否重要

FLOPS（即“每秒浮點(diǎn)運(yùn)算次數(shù)”，“每秒峰值速度”）
手機(jī)可以通過PaddleLite進(jìn)行部署


embedding量化是針對(duì)nlp的
量化訓(xùn)練與離線量化有區(qū)別

上面是一個(gè)老師模型

紅框在老師里長，學(xué)生里短
彈幕可以看看



反饋時(shí)對(duì)搜索策略進(jìn)行調(diào)優(yōu)
不加約束會(huì)崩


可以看文檔
搜索空間：Block相當(dāng)于一個(gè)模型結(jié)構(gòu)，有很多操作，可以理解成時(shí)很多卷積，搜索出來后再自行設(shè)計(jì)網(wǎng)絡(luò)

為什么不急于計(jì)算量？：目的和原因
卷積2對(duì)卷積1耗時(shí)是少的
解決方法：圖上黑字
搜索出模型之后，對(duì)模型進(jìn)行查找，根據(jù)耗時(shí)判斷硬件是否符合要求
FlopsNAs是基于計(jì)算量進(jìn)行搜索的耗時(shí)

summary原理結(jié)束了
模型壓縮：工業(yè)上縮小模型之后，不減精度甚至提高的黑科技



做了什么：
2.對(duì)網(wǎng)絡(luò)接口進(jìn)行裁剪
3.像正常那樣訓(xùn)練




測(cè)試的接口，獲取敏感度會(huì)用到

進(jìn)行訓(xùn)練：
數(shù)據(jù)集還挺小，訓(xùn)練起來挺準(zhǔn)的

中間的數(shù)組是裁剪的參數(shù)



paddle-Lite快速部署





文檔網(wǎng)站



實(shí)戰(zhàn)：

總結(jié)

以上是生活随笔為你收集整理的飞桨第六课 2020.4.5的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。