【总结】有三AI秋季划模型优化组3月直播讲了哪些内容,为什么每一个从事深度学习的同学都应该掌握模型优化的内容...
文/編輯 | 言有三
大家知道,有三AI有計(jì)算機(jī)視覺(jué)的人才培養(yǎng)體系,分為三個(gè)等級(jí),分別是春季劃,夏季劃,秋季劃,如果不熟悉可以查看下面介紹。
【雜談】2020年有三AI計(jì)算機(jī)視覺(jué)培養(yǎng)計(jì)劃詳解,該不該學(xué)&怎么學(xué)CV的簡(jiǎn)單討論
(1) 春季劃的目標(biāo),是為了培養(yǎng)新人熟悉深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)的核心領(lǐng)域,達(dá)到一般崗位項(xiàng)目研發(fā)的水平。
(2) 夏季劃的目標(biāo),是為了讓大家更深層次掌握框架的使用,同時(shí)熟悉更多的計(jì)算機(jī)視覺(jué)領(lǐng)域。
(3) 秋季劃的目標(biāo),則是專精于某一個(gè)方向,目前包括模型優(yōu)化,人臉?biāo)惴?#xff0c;圖像質(zhì)量,GAN。
過(guò)去的3月份,我們給模型優(yōu)化小組進(jìn)行了突擊直播,包括4期內(nèi)容。直播并沒(méi)有錄制視頻,但是文件有留存,那么這4期直播都包括了哪些內(nèi)容呢?
第一期:數(shù)據(jù)使用
第一期的內(nèi)容為數(shù)據(jù)使用,數(shù)據(jù)的使用是被大部分新人所忽略的內(nèi)容,因?yàn)槔碚擉w系并不完善,然而它卻在很多情況下是項(xiàng)目能否真正成功的關(guān)鍵。一直以來(lái),我們都很重視數(shù)據(jù)相關(guān)的內(nèi)容,在這次直播中,關(guān)于數(shù)據(jù)的使用講述了以下內(nèi)容:
(1) 爬蟲(chóng)。我們不僅講了小型的圖片和視頻爬蟲(chóng),更剖析了如何構(gòu)建ImageNet這樣的大型數(shù)據(jù)集爬蟲(chóng),甚至包括'扒光'一些網(wǎng)站的好資源,當(dāng)然這不是值得提倡的,但確實(shí)很有用,筆者就這樣存了上千萬(wàn)的未公開(kāi)高質(zhì)量數(shù)據(jù),以后有機(jī)會(huì)陸續(xù)發(fā)布。
(2) 數(shù)據(jù)整理。數(shù)據(jù)整理看似很簡(jiǎn)單,但是習(xí)慣和流程往往會(huì)反映出工程人員和公司的素質(zhì),學(xué)會(huì)數(shù)據(jù)的整理,挑選,去重,分級(jí),往后做項(xiàng)目會(huì)少走很多彎路,有三也寫(xiě)了一個(gè)基于C++的去重項(xiàng)目供參考使用。
(3) 數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)無(wú)處不在,說(shuō)它是大部分項(xiàng)目成功的關(guān)鍵一點(diǎn)都不過(guò)分,我們總結(jié)了平常項(xiàng)目以及比賽中分類與檢測(cè)任務(wù)中的數(shù)據(jù)增強(qiáng)方法。
(4) 任務(wù)實(shí)踐和開(kāi)源項(xiàng)目推薦。最后,當(dāng)然是實(shí)踐出真知,我們以圖像分類和GAN的任務(wù)來(lái)展示了數(shù)據(jù)增強(qiáng)的重要性,同時(shí)給大家推薦了一些干貨項(xiàng)目。
第二期:模型優(yōu)化核心技術(shù)
接著是第二期,模型的優(yōu)化核心技術(shù),在這次直播中,我們重點(diǎn)講述了以下內(nèi)容:
(1) 模型的設(shè)計(jì)思想?yún)R總。這一期主要是回顧一下我們?cè)谔斐刈鲞^(guò)的直播,各種設(shè)計(jì)思想望大家熟記于心,使用起來(lái)才能如魚(yú)得水。
(2)?模型的性能分析。對(duì)模型的理解是非常重要的,我們不能期待一個(gè)模型總是以最正確的方式運(yùn)行,優(yōu)化模型也是我們常常要做的,因此我們要學(xué)會(huì)定量,定性地評(píng)估好模型。
(3) 模型調(diào)參。經(jīng)常會(huì)遇到人問(wèn)我為什么我的模型不收斂,怎樣讓我的模型更好更快,這個(gè)問(wèn)題回答起來(lái)一言難盡。從網(wǎng)絡(luò)的優(yōu)化方法,基本單元設(shè)置,拓?fù)浣Y(jié)構(gòu)等各方面都需要掌握,這些都可以歸入模型調(diào)參,我們對(duì)相關(guān)的技術(shù)進(jìn)行了總結(jié)和實(shí)踐。
(4) 工業(yè)界秘笈。模型從訓(xùn)練到部署,中間有很多工作,甚至對(duì)模型本身還會(huì)做出一些修改,包括格式,結(jié)構(gòu)等,你是否掌握了正確的姿勢(shì)呢。
第三期:模型精簡(jiǎn)前沿技術(shù)
接著是第三期,模型精簡(jiǎn)前沿技術(shù),在這次直播中,我們重點(diǎn)講述了以下內(nèi)容:
(1) 模型剪枝設(shè)計(jì)。我們對(duì)當(dāng)前各種粒度的剪枝算法進(jìn)行了系統(tǒng)性的總結(jié)。
(2) 模型量化設(shè)計(jì)。我們對(duì)當(dāng)前不同位寬以及對(duì)稱和非對(duì)稱,離線與在線的量化算法進(jìn)行了系統(tǒng)性的總結(jié)。
(3) 模型蒸餾設(shè)計(jì)。我們對(duì)當(dāng)前的知識(shí)蒸餾和遷移學(xué)習(xí)算法進(jìn)行了系統(tǒng)性的總結(jié)。
(4) AutoML設(shè)計(jì)。我們對(duì)當(dāng)前的AutoML的主要思路進(jìn)行了分析,往后會(huì)單獨(dú)增加AutoML的內(nèi)容直播。
第四期:模型精簡(jiǎn)實(shí)踐
接著是第四期,模型精簡(jiǎn)實(shí)踐,在這次直播中,我們對(duì)模型剪枝,量化以及知識(shí)蒸餾進(jìn)行了實(shí)踐:
(1) 模型剪枝實(shí)踐。我們?cè)赑PT和圖文資料中對(duì)細(xì)粒度和粗粒度的模型剪枝算法分別進(jìn)行了實(shí)踐,剖析代碼和實(shí)驗(yàn)結(jié)果。
(2) 模型量化實(shí)踐。我們對(duì)最主流的8bit量化算法的思想和代碼實(shí)現(xiàn)進(jìn)行了分析,并對(duì)比了實(shí)驗(yàn)結(jié)果。
(3) 模型蒸餾實(shí)踐。我們對(duì)最主流的模型蒸餾算法的思想和代碼實(shí)現(xiàn)進(jìn)行了分析,并展示了實(shí)驗(yàn)結(jié)果。
接下來(lái)的直播安排
在4月份,大概率我們不會(huì)有直播安排,因?yàn)橐尨蠹蚁延械膬?nèi)容。到了5月份,我們還會(huì)安排有AutoML以及移動(dòng)端模型部署的相關(guān)內(nèi)容,接下來(lái)敬請(qǐng)期待吧。
小提示:直播的地點(diǎn)就在微信群內(nèi),并且所有資料發(fā)放也在微信群內(nèi),為防止資源外泄不會(huì)再更新云盤(pán),這都是為了保護(hù)模型優(yōu)化小組成員的權(quán)益。
如何學(xué)習(xí)以及報(bào)名
模型優(yōu)化小組的學(xué)習(xí)路線如下:
學(xué)習(xí)的資料包括:
(1) 一些相關(guān)的視頻講解,不定期增加。
(2) 圖文課件和實(shí)踐代碼,數(shù)據(jù)集。
當(dāng)然了,更重要的是多討論,相互進(jìn)步,畢竟內(nèi)容很多。
完整的模型優(yōu)化小組的內(nèi)容介紹大家可以查看如下往期文章:
有三AI秋季劃出爐,模型優(yōu)化,人臉?biāo)惴?#xff0c;圖像質(zhì)量等24個(gè)項(xiàng)目等你來(lái)拿
報(bào)名方式為聯(lián)系有三本人微信Longlongtogo(小提示,秋季劃小組5月份開(kāi)始調(diào)整價(jià)格)。
轉(zhuǎn)載文章請(qǐng)后臺(tái)聯(lián)系
侵權(quán)必究
【雜談】有三AI秋季劃增加生成對(duì)抗網(wǎng)絡(luò)小組,你準(zhǔn)備好大GAN一場(chǎng)了嗎
總結(jié)
以上是生活随笔為你收集整理的【总结】有三AI秋季划模型优化组3月直播讲了哪些内容,为什么每一个从事深度学习的同学都应该掌握模型优化的内容...的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 【调参实战】那些优化方法的性能究竟如何,
- 下一篇: 【总结】有三AI秋季划人脸算法组3月直播