AI公開課：19.05.29 浣軍 百度大數據實驗室主任《AutoDL 自動化深度學習建模的算法和應用》課堂筆記以及個人感悟

?

導讀
? ? ? ?浣軍博士，漢族，1975年出生于江蘇蘇州，華人科學家，教授，博士生導師，國際著名人工智能專家。歷任美國堪薩斯大學電子工程和計算機系終身講席正教授、博士生導師、美國國家科學基金委大數據學科主任、葛蘭素制藥高級訪問科學家。現任百度大數據實驗室主任。
? ? ? ?2006年在北卡來羅納大學計算機系獲得博士學位后加入堪薩斯大學，歷任助理教授、副教授、正教授、講席正教授。?
浣軍博士擔任堪薩斯大學生物信息學和計算生命科學實驗室主任，國家分子探針研究中心化學信息學部主任等職。?
? ? ? ?2015-2018年 任美國國家科學基金委，計算和信息學部，擔任大數據學科主任，主管大數據項目規(guī)劃和審批。
? ? ? ?2018年1月18日，加入百度研究院，擔任百度大數據實驗室主任 。浣軍教授在百度提出開放普惠AI理念，主持開發(fā)了Baidu AutoDL: Automated Deep Learning，讓廣大中小初創(chuàng)企業(yè)個人無需特殊軟硬件設備和工程團隊也能享受到百度開發(fā)的先進AI技術。
? ? ? ?研究領域：浣軍博士長期從事AI、大數據、數據挖掘和機器學習的理論、算法和應用的研究，研究領域涉及深度學習、大數據、生物信息學等。

?

目錄

?

問答環(huán)節(jié)

現場圖片

演講PPT

人工智能布局

AutoDL

---

?

?

問答環(huán)節(jié)

小編正在使勁整理中……
雷鳴教授：模型的訓練，類似啟發(fā)式搜索。初始的模型是什么？
浣軍教授：按照不同模式需要進行因地制宜，比如Resnet，大體機構要是知道的，搜出來的是一個cell，比如七個節(jié)點的模塊，在這個模板上進行優(yōu)化，然后將多個cell結合起來。第三個是，比如從Resnet開始，進行局部修改，split，把一層或者改為兩層，通過這樣得到優(yōu)化的結果。
雷鳴教授：第一個是有一個大體上框架，然后往里面填框架。第二個是模塊化的替換，相當于換個發(fā)動機或者什么的，比如火車，有可替換性，然后根據不同組合進行作業(yè)；第三個，局部分析修改。下一個問題，對于數據量有什么要求么？
浣軍教授：訓練一次幾個小時，如果比如訓練需要3天。整個訓練比較大，可以理解為，利用AutoDL，找組件，利用人類的某種組合進行優(yōu)化。
雷鳴教授：有點類似金融數據分析，先找這些特征，然后綜合這些特征，然后通過二級市場操作，會得到有效利用。能不能講一講在其他推薦、大數據處理領域上，如何應用？
浣軍教授：應該說，視覺領域需求比較強烈，但是NLP上也有很多應用，比如設計RNN或者優(yōu)化LSTM算法。比如遷移學習，利用Bert訓練模型，然后遷移到某個具體場景上。關于推薦系統(tǒng)上，其實，模型不見得很深，尤其對于FE處理，這一塊特別重要。
雷鳴教授：在應用上，比如根據遷移學習或者模型壓縮，AutoDL有很多有意思的應用，比如還有其他的那些應用？
浣軍教授：在分類上，除了圖像分類。圖像分割領域，比如最近百度語音合作做的，城管的項目，通過攝像頭進行識別，識別垃圾不應該出現在不該出現的地方。語義分割領域，工業(yè)質檢找到產品缺陷，困境是都是小樣本、弱監(jiān)督。弱標簽并不是不標記，而是簡化標記。安全領域，如何防止別人攻擊，如何模擬攻擊。風格遷移領域，去燥、超分辨率等，做特征分層，優(yōu)化k層的識別。
雷鳴教授：放眼未來，未來會有哪些潛在的技術以及如何影響產業(yè)？
浣軍教授：理論上，神經網絡的結構和功能之間的關系，如何通過理論進行刻畫，從而用來指導神經網絡的設計。對樣本的選擇，如何優(yōu)化網絡，比如數據的選擇、優(yōu)化器的選擇。比如要識別某種動物、識別某種疾病，這對于人類來說，是用的一套系統(tǒng)進行的識別，如何在任務不確定的情況下，也有比較好的模型。這個方向若有擴展，能夠有更大的范圍，更能優(yōu)化模型。
雷鳴教授：探討所謂深度學習的人才，哈哈，其實就是調整各模型，如果調參被AutoDL搶走，那么我們未來的人才應走向何方？
浣軍教授：雖然現在的學生只會調參，哈哈，比如我們可以建立一個車床，讓學生的加工精度進行提高，使大家自我能力提升。
雷鳴教授：還要理解網絡的結構，嘗試改一下網絡的結構。AutoDL有沒有可能會用于一些先驗知識？
浣軍教授：比如做氣象，天氣預測，它是有一個很強的物理機制的，如果單純去學習，它需要的數據量要很大的。可以考慮混合建模。除了模型嵌入，還有知識嵌入，比如要預測斑馬，原先不知道斑馬，實際上做預測的時候，就不需要大量的斑馬圖像。能夠有效的降低對數據集的依賴。很多的知識，比如夸模態(tài)，既有圖像又有語言。
雷鳴教授：最近何何凱明的大作，隨機的網絡還不錯？精心設計和隨機搜索到底哪個好？有什么建議？總結，隨機在一些相對新的、未知的領域，會更好一點。
浣軍教授：學術界，要有對認識的認識，要經常反思。如果對問題的理解，調參是基本技能，如果對問題深入理解，隨機搜索也不失為一種好的方式，空間定下來，隨機搜索可以在固定的時間內給一個不錯的結果。多目標搜索，要考慮能耗、響應時間、準確度，此時若主要考慮實時，根據不同的搜索策略。何凱明的大作，說明了隨機搜索效果還算不錯，其實，這種反思永遠是對的，人工智能真的是需要很大的算力、很好的設計才會得到最好的結果嗎？
雷鳴教授：AutoDL能干很多東西，那人類還要學什么呢？還需要投向人工智能領域嗎？
浣軍教授：人工智能處于初級階段，目前還是需要人工，網絡結構對數據的敏感性還是不夠。如果12年有博士在做深度學習，那么，他17年才會畢業(yè)，其實12年那時候真正做深度學習的人很少很少，所以還是需要的。
雷鳴教授：對有志于人工智能，這只是一個工具，在一些新領域，還是需要繼續(xù)學習，還有很多很多領域，我們處于非常早期的階段，AutoDL也是一個非常重要的方向。如何看待神經生物學和人工智能數學科學？會有哪些預期的突破？
浣軍教授：比如目標檢測，人做目標檢測的時候，是基于多通道的，然后注意力集中后進一步檢測，其實卷積神經網絡矩形感受視野，而人類的感受視野不會一直是矩形的。人類證明了存在這樣一個網絡，那么，我們能不能設計一個系統(tǒng)完成多個任務。是建立在數學基礎上與視覺科學又有不同。
雷鳴教授：人類的腦結構，比如神經科學，最早的神經網絡其實就是依據而來。算力的增長，量變到質變的圖片。如果層數不多的話，8~10層，最初的層，根據光柵的原理在找邊框，隨著網絡加深依次檢測更具體的東西。畢竟，人腦是靠生物學，而神經網絡是基于數學的，是否需要完全理解大腦才能做出一個人造的超級大腦，本著科學的精神，結果在沒有出來以前，我們都不能否定。比如飛機，現在的飛機的并不是扇動飛行的，所以我們不能完全照抄，但是也是要有模仿的部分。
浣軍教授：人工智能的階段，現在是最有意思的階段。神經網絡是生物學啟發(fā)的，比如Hinton在用類比的方式，并沒有純數學去建立，NLP領域，必須要理解語言的結構，大家都在小數據上總結出來的類似的結構，這需要大家自己去探索，要保持一個開放的心態(tài)、快速學習的能力、探索的能力，認知一件事要有多種可能性。

個評：很多事情需要大家自己去探索，但要保持一個開放的心態(tài)、快速學習的能力、探索的能力，認知一件事要有多種可能性。何凱明的大作，說明了隨機搜索效果還算不錯，其實，這種反思永遠是對的，人工智能真的是需要很大的算力、很好的設計才會得到最好的結果嗎？保持疑問，帶著反思前進！
備注：以上對話環(huán)節(jié)的文本編輯，為博主總結，與原文稍微有異，請以原文錄音為準。時間緊迫，如有錯誤，歡迎網友留言指出、探討。

?

?

現場圖片

小編正在使勁整理中……

?

?

?

?

演講PPT

小編正在使勁整理中……

?

?

人工智能布局

• 平臺層：AI平臺與生態(tài)
• 認知層：語言與知識
• 感知層：語音、視覺，AR/VR
• 基礎層：大數據、算法、大計算
  ?

語音

• 語音識別
• 語音合成
• 語音交互：百度輸入法
• 圖像技術：
• 視頻理解：

多元異構知識圖譜

• 語言與知識技術：
• 從海量數據構建超大規(guī)模知識圖譜
• 醫(yī)療圖譜構建

句法分析與意圖理解：機器翻譯

基于知識增強的語義建模ERNIE

• 智能寫作
• 多模態(tài)深度語義理解
• 基于知識圖譜的視頻理解

百度AI開放平臺：PaddlePaddle，案例比如農田病蟲害監(jiān)測。

人工智能正在成為這個時代和核心驅動力

?

?

AutoDL

Brief Introduction to Baidu Big Data Laboratory?

AutoDL: Transform Deep Learning Model Design to Affordable Commodity

• Automated Neural Network Architecture Design is a critical component in AI research and development
• Baidu AutoDL has three parts:
• Research Topics Sample

AutoDL design Architecture
Reinforcement Learning in AutoDL?
Major Challenges:?

• High dimensional search space -
• It takes long time to train a student network?

Regularization is Critical in Preventing Overfitting?

• Deep Convolutional Neural Networks (CNNs) are always over-parameterized
• Overfitting is a serious problem in Neural Architecture Search, usually optimizing over an exponentially-large space
• We have utilized a group of regularization methods such as - Mix-up - Shake-shake
• We developed Rademacher complexity based regularization with proved generalization guarantee?

AutoDL Application: De Novo Network Design

AutoDL: Deep Learning Transfer Using Feature Map With Attention?

• Motivation: unactivated chaimel re-usage?
• Based on the idea of SPAR (using starting point as the reference) and knowledge distillation?
• Preserving transferable channels and reusing tmtransferable channels using an attention mechanism with feature map regularization?

AutoDL Edge: 3D-Filtermaps?

• CNNs learn a 3D-Filtermap. instead of a set of independent filters. in each convolution laver.?

AGAN : Automated GAN Architecture Search
With AGAN the benefits are

• (1) stabilizing GAN training,
• (2) improving its quality, and
• (3) providing customized models?

StyIeNAS: NAS for Universal Photorealistic Style Transfer
? ? ? StyIeNAS adopts (1) a carefully designed search space, which enable end-to-end photorealistic style transfer; (2) a map-reduce based effective parallel evolutionary NAS algorithm; (3) an objective based on a supervisory oracle and the knowledge distillation strategy. Our StyIeNAS achieves state-of-the-art performance in terms of stylization effects and computing time for photorealistic style transfer tasks.?

Image Resnet-50

Deep Neural Networks can be Easily Fooled
? ? ? They are able to classify objects in images with near-human-level performance most of the time, but can perform very poorly on seemingly easy cases.(Nguyen et al., 2015)?
AutoDL-Safety

• Comparing to classical models where we know the architecture and parameters , AutoDL may provide a useful shield for adversarial attacks?

?

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的AI公开课：19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。