实录分享 | 计算未来轻沙龙:揭秘AutoML技术(视频 + PPT)
10 月 27 日(周六)上午,PaperWeekly 攜手清華大學(xué)計(jì)算機(jī)系推出了計(jì)算未來輕沙龍第三期線下活動(dòng)——揭秘 AutoML 技術(shù)。來自中國(guó)科學(xué)技術(shù)大學(xué)、中國(guó)科學(xué)院自動(dòng)化研究所和探智立方的三位嘉賓,系統(tǒng)而深入地分享了他們各自在自動(dòng)機(jī)器學(xué)習(xí)領(lǐng)域的最新研究進(jìn)展。
本文將獨(dú)家分享本期活動(dòng)的完整視頻回顧和嘉賓課件下載。
?吳開源 / 北京航空航天大學(xué)博士?
吳開源,北京航空航天大學(xué)數(shù)學(xué)博士。目前是探智立方(北京)科技有限公司算法工程師,從事人工智能自動(dòng)化平臺(tái)算法研發(fā)。
?DarwinML:基于圖進(jìn)化算法的自動(dòng)機(jī)器學(xué)習(xí)?
AutoML 技術(shù)可以減少模型設(shè)計(jì)過程中需要機(jī)器學(xué)習(xí)專業(yè)知識(shí)的手動(dòng)操作,降低傳統(tǒng)行業(yè)的進(jìn)入門檻,讓更多的社區(qū)開發(fā)者方便地使用人工智能技術(shù)。AutoML 技術(shù)最近得到學(xué)術(shù)界和工業(yè)界的越來越多的關(guān)注。
在這個(gè)講座中,我們將介紹一種基于計(jì)算圖的 AutoML 技術(shù)。利用計(jì)算圖,可以靈活地表示各種復(fù)雜的 ML 模型。與 tree-based 和 stacking-based 等方法相比,基于計(jì)算圖的方法可以提供了更大的搜索空間。我們引入了一種進(jìn)化算法來搜索最佳的模型計(jì)算圖,并設(shè)計(jì)相應(yīng)的突變和遺傳算子。結(jié)合貝葉斯超參數(shù)優(yōu)化,我們實(shí)現(xiàn)了機(jī)器學(xué)習(xí)的整個(gè)工作流程的自動(dòng)化。在 PMLB 數(shù)據(jù)集上,與 TPOT,AutoStacker 和 AutoSklearn 相比,所提出的方法顯示了更好的性能。 我們還將展示幾個(gè)基于 DarwinML 平臺(tái)的工業(yè)用戶案例。
?羅人千 / 微軟-中科大聯(lián)合培養(yǎng)博士生?
羅人千,微軟亞洲研究院-中國(guó)科學(xué)技術(shù)大學(xué)聯(lián)合培養(yǎng)博士生,目前博士三年級(jí)在讀。研究方向:機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、機(jī)器翻譯。曾在 NIPS 上發(fā)表論文。
?NIPS 2018:神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化?
神經(jīng)網(wǎng)絡(luò)搜索(Neural Architecture Search)是 AutoML 的一個(gè)分支,目標(biāo)是針對(duì)給定的任務(wù)和數(shù)據(jù),通過算法自動(dòng)搜索出合適的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),從而減少繁雜的人工設(shè)計(jì)過程。當(dāng)前的一些搜索方法有在離散空間里基于強(qiáng)化學(xué)習(xí)、進(jìn)化算法等搜索更優(yōu)的結(jié)構(gòu)。
本次報(bào)告將介紹我們今年發(fā)表在 NIPS 上的工作?Neural Architecture Optimization。本工作將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)映射到連續(xù)空間內(nèi),直接基于網(wǎng)絡(luò)的性能這一目標(biāo)進(jìn)行優(yōu)化,使得搜索過程更高效、使用資源更少,搜索得到的網(wǎng)絡(luò)結(jié)構(gòu)性能更好。
?陳玉康?/ 中國(guó)科學(xué)院自動(dòng)化研究所碩士生?
陳玉康,本科畢業(yè)于北京航空航天大學(xué),曾赴加拿大約克大學(xué)、德國(guó)慕尼黑工業(yè)大學(xué)交流交換,先后在百度 IDL、地平線機(jī)器人實(shí)習(xí)。現(xiàn)為中科院自動(dòng)化所模式識(shí)別方向碩士,目前研究深度學(xué)習(xí)模型優(yōu)化、模型壓縮等方向。
?基于進(jìn)化算法和強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)搜索算法?
深度神經(jīng)網(wǎng)絡(luò)逐漸替代了人工設(shè)計(jì)的特征,并在圖像、語音、文本等領(lǐng)域不斷超越傳統(tǒng)算法。然而,深度神經(jīng)網(wǎng)絡(luò)的興起也帶來了新的問題。良好神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)通常需要研究者在擁有豐富經(jīng)驗(yàn)的情況下不斷嘗試,消耗大量的時(shí)間和計(jì)算資源來設(shè)計(jì)。而這樣設(shè)計(jì)出來的網(wǎng)絡(luò)結(jié)構(gòu)通常情況下仍然存在著各種各樣的問題,比如參數(shù)量大,精度低等等。因此,自動(dòng)化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)逐漸成為深度學(xué)習(xí)的進(jìn)一步需求。
本報(bào)告將詳細(xì)介紹我們提出的一種在進(jìn)化算法框架下結(jié)合強(qiáng)化學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索算法。本算法在消耗極少計(jì)算資源的情況下,在 CIFAR-10 和 ImageNet 等分類任務(wù)上取得了良好的效果。此外,我們還會(huì)討論神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方向的重點(diǎn)難點(diǎn),以及未來的工作和趨勢(shì)。
?1 / 掃碼關(guān)注?
長(zhǎng)按識(shí)別二維碼,關(guān)注PaperWeekly
?2 / 回復(fù)暗號(hào)?
在PaperWeekly微信公眾號(hào)后臺(tái)
回復(fù)暗號(hào)181027
即可獲取視頻和嘉賓課件
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體,縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢??答案就是:你不認(rèn)識(shí)的人。
總有一些你不認(rèn)識(shí)的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞,迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人,在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容,可以是最新論文解讀,也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè),讓知識(shí)真正流動(dòng)起來。
??來稿標(biāo)準(zhǔn):
? 稿件確系個(gè)人原創(chuàng)作品,來稿需注明作者個(gè)人信息(姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向)?
? 如果文章并非首發(fā),請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認(rèn)每篇文章都是首發(fā),均會(huì)添加“原創(chuàng)”標(biāo)志
? 投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請(qǐng)單獨(dú)在附件中發(fā)送?
? 請(qǐng)留下即時(shí)聯(lián)系方式(微信或手機(jī)),以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通
?
現(xiàn)在,在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點(diǎn)擊 |?閱讀原文?| 獲取最新論文推薦
與50位技術(shù)專家面對(duì)面20年技術(shù)見證,附贈(zèng)技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的实录分享 | 计算未来轻沙龙:揭秘AutoML技术(视频 + PPT)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RSGAN:对抗模型中的“图灵测试”思想
- 下一篇: ACL 2018论文解读 | 基于排序思