为什么深度学习几乎成了计算机视觉研究的标配？
本次CVPR 2016上，深度學習幾乎成了如今計算機視覺研究的標配，人臉識別、圖像識別、視頻識別、行人檢測、大規(guī)模場景識別的相關論文里都用到了深度學習的方法，加上Google，Facebook這樣的大企業(yè)助力，很多人疑惑，為什么深度學習相比其它的AI實現(xiàn)方法，已然呈現(xiàn)出一副碾壓之態(tài)？
本期硬創(chuàng)公開課嘉賓我們邀請了商湯科技執(zhí)行研發(fā)總監(jiān)曹旭東，其剛從CVPR 2016現(xiàn)場趕回來，正好在這里為大家解釋一下為什么深度學習幾乎成了計算機視覺研究的標配這個問題。以及為大家講解CV和深度學習的現(xiàn)狀和未來趨勢。
曹旭東，商湯科技執(zhí)行研發(fā)總監(jiān)，深度學習專家。畢業(yè)于清華大學。前微軟亞洲研究院副研究員，負責研發(fā)的人臉算法曾用于微軟Xbox、How-old等知名產(chǎn)品，現(xiàn)象級產(chǎn)品How?http://Old.net有數(shù)億用戶。在CVPR/ICCV/ECCV等計算機視覺頂級會議發(fā)表論文十余篇，其中三篇CVPR論文和兩篇ICCV論文獲得口頭報告榮譽（接收率小5%）。
基于深度學習的物體檢測
Q：目前的深度學習用于目標檢測中有什么優(yōu)點和缺點？
首先簡單介紹一下傳統(tǒng)物體檢測的方法和基于深度學習的物體檢測方法。
傳統(tǒng)方法使用滑動窗口的框架，把一張圖分解成幾百萬個不同位置不同尺度的子窗口，針對每一個窗口使用分類器判斷是否包含目標物體。傳統(tǒng)方法針對不同的類別的物體，一般會設計不同的特征和分類算法，比如人臉檢測的經(jīng)典算法是Harr特征+Adaboosting分類器；行人檢測的經(jīng)典算法是HOG(histogram of gradients) + Support Vector Machine；一般性物體的檢測的話是HOG的特征加上DPM(deformable part model)的算法。
基于深度學習的物體檢測的經(jīng)典算法是RCNN系列： RCNN，fast RCNN (Ross Girshick)，faster RCNN (少卿、凱明、孫劍、Ross)。這三個工作的核心思想是分別是：使用更好的CNN模型判斷候選區(qū)域的類別；復用預計算的sharing feature map加快模型訓練和物體檢測的速度；進一步使用sharing feature map大幅提高計算候選區(qū)域的速度。其實基于深度學習的物體檢測也可以看成對海量滑動窗口分類，只是用全卷積的方式。
RCNN系列算法還是將物體檢測分為兩個步驟?，F(xiàn)在還有一些工作是端到端(end-to-end)的物體檢測，比如說YOLO(You Only Look Once: Unified, Real-Time Object Detection)和SSD(SSD: Single Shot MultiBox Detector)這樣的算法。這兩個算法號稱和faster RCNN精度相似但速度更快。物體檢測正負樣本極端非均衡，two-stage cascade可以更好的應對非均衡。端到端學習是否可以超越faster RCNN還需要更多研究實驗。
深度學習為何成為CV研究的標配
Q：針對本屆大會深度學習幾乎成了如今計算機視覺研究的標配，法國 Inria 研究所的研究員 Nikos Paragios 在 LinkedIn 撰文表示了擔憂，似乎過于單一了，對這個有什么看法？
先回答深度學習為什么會成為現(xiàn)在計算機視覺標配的方法。
首先，最重要的原因是深度學習可以做到傳統(tǒng)方法無法企及的精度，這是關鍵中的關鍵，如果說這個優(yōu)點是1的話，其它的優(yōu)點都是1后面的0。深度學習革命爆發(fā)在2011~2012年，11年的時候在語音識別領域有重大突破，12年的時候在圖像識別領域有重大突破。深度學習革命，使得計算機視覺在很多應用領域達到了實用水平，催生了工業(yè)界的大量應用。這也是為什么在11年前，機器視覺&人工智能的博士生都是找不到工作的，但是12年之后，尤其是現(xiàn)在，都變成了被眾多公司高薪爭奪的寶貝。
另外深度學習成為標配，還有其它的優(yōu)點。
第一，深度學習算法的通用性很強，剛才提到的檢測，在傳統(tǒng)算法里面，針對不同的物體需要定制化不同的算法。相比來看，基于深度學習的算法更加通用，比如faster RCNN在人臉、行人、一般物體檢測任務上都可以取得非常好的效果。
第二，深度學習獲得的特征(feature)有很強的遷移能力。所謂特征遷移能力，指的是在A任務上學習到一些特征，在B任務上使用也可以獲得非常好的效果。例如在ImageNet（物體為主）上學習到的特征在場景分類任務上也能取得非常好的效果。
第三， 工程開發(fā)、優(yōu)化、維護成本低。深度學習計算主要是卷積和矩陣乘，針對這種計算優(yōu)化，所有深度學習算法都可以提升性能。另外，通過組合現(xiàn)有的層(layer)，我們可以實現(xiàn)大量復雜網(wǎng)絡結構和一些算法，開發(fā)維護的成本低。想想同時開發(fā)、維護Boosting，Random Forest等算法是非常痛苦的一件事情。
再回答深度學習過于單一的問題。
深度學習過于單一的說法，我覺得是不準確的。就好比說一個包容萬象的宇宙過于單一了。
簡單來說，機器學習就是學習輸入到輸出的一個映射，傳統(tǒng)方法使用淺層的簡單映射，現(xiàn)在深度學習是多層的復合映射。深度學習有很多的自由度，學習目標和學習方法有很多種選擇，網(wǎng)絡結構層與層之間有無數(shù)的可能連接方式，每一層映射的具體形式到底是卷積，還是全連接，還是其它的形式，并沒有限制，其實除了全連接和卷積之外，還可以用其它的映射形式，比如說去年ICCV上的一個工作：微軟研究院用Random Forest做為新的映射形式。
深度學習技術樹
Q： 商湯科技CVPR2016送選論文重點介紹了四篇論文《物體分割》《服飾識別搜索技術》《行為識別和定位》《人臉檢測中級聯(lián)卷積神經(jīng)網(wǎng)絡的聯(lián)合訓練》，這4篇有何重要意義？這與你們目前的業(yè)務側(cè)重點有何關系？
深度學習的技術框架是一棵樹形結構。
訓練平臺是樹根，如caffe、tensorflow等。現(xiàn)在深度學習還處于實驗科學階段，實驗效率很大程度上決定著研發(fā)效率，好的訓練平臺可以把實驗周期從一個月縮短到一天，對于深度學習研發(fā)非常重要。
模型是樹干。自06年提出深度學習概念，學術界花了六年時間才認識到模型結構的研究才是深度學習的重點。典型的成果有AlexNet、VGGNet、GoogleNet、ResNet等。學術界大家主要研究怎么把模型做的精度更好。在工業(yè)界我們還要考慮怎么把模型做得更快，更小。
在樹干上有幾個主干的枝丫，對應著計算機視覺里的核心任務，包括了檢測、識別、分割、特征點定位、序列學習等五個大的任務，任何計算機視覺的具體的應用都可以由這五個任務組合而成。以人臉識別為例，人臉識別要完成整個流程，要涉及到人臉的檢測、特征點定位，特征的提取&驗證。這就包含了檢測、特征點定位和識別三個部分。
我們在剛才提到的那五個重要的主干方向其實都投入了非常大的研究力量，一方面是保證我們在學術界的前沿有所突破，另一方面，針對我們一些重要應用也開發(fā)出了一整套與學術界并行的方法，能夠做到十倍的加速和百倍模型的壓縮，同時保持很好的精度。這個問題中提到的四篇論文主要是我們在這五個計算機視覺的核心任務上取得的一些研究方向的成果。其實我們除了在研究方向成果之外在工業(yè)實用方面有更大、更多的成果，比如我們的人臉檢測在做到學術界最好結果的同時能做到300FPS的速度。人臉特征點的定位超過學術界最好結果的同時，做到3000FPS的速度。在學術界公開的論文中，我還沒有看到這樣的性能。
Q：在《物體分割》這篇文章中（作者石建萍）主要解決的問題是 instance segmentation（也稱為Simultaneous Detection and Segmentation）。Instance segmentation 最近逐漸成為一個新的熱點問題。它要解決的問題是檢測（Object Detection）和語義分割（Semantic Segmentation）綜合的一個問題。比起檢測，需要得到物體更精確的邊界信息；比起語義分割，需要區(qū)分不同的物體個體。
檢測好懂，現(xiàn)在都強調(diào)從2D檢測升級到3D，4D的深度檢測；語義分割一直在做的都是區(qū)分不同的物體個體，那么現(xiàn)在的語義分割與之前的區(qū)別是什么？是不是指語義分割要上升到結合場景的語義理解？
在深度學習領域有一個簡單但又非常通用的原理。在學習時，指導信息越豐富、越精細，學習的效果一般來說也會越好。
舉個簡單的例子，在數(shù)據(jù)量充足的情況下，如果我對我圖像類別的標注僅僅是動物、植物、場景的話，學習出來的模型和特征可能一般。但是如果把這些類別標記細化，比如最開始有十類數(shù)據(jù)，我們把它細化到一千類，例如把狗分成斑點狗、斗牛犬等，把貓分成波斯貓、大花貓等，通常來說可以學習到更好的模型和更加好的特征。
另一個例子是物體檢測，如果在bounding box的基礎上增加額外的監(jiān)督信息通長會得到更好的結果。比如標注出人臉的眼睛、鼻子、嘴的位置，人臉的角度，種族性別男女等屬性，做成一個多任務學習的算法的話，通常來說能得到更好的效果。
兩個代表性工作可以參考：Joint cascade face detection and alignment，Facial landmark detection by deep multi-task learning。
有時候多個標注/任務是并列關系，可以通過Multi-Task Learning的框架來學習。另外一些情況，多個任務是遞進關系，前一個任務的結果可以幫助后一個任務，例如將每一個人都獨立的檢測出來之后再分割每個人身體的Mask。合理利用這種遞進關系，可以得到比并列關系更好的結果，這其實就是Instance segmentation的核心思想。因為同傳統(tǒng)語義分割不同的是，傳統(tǒng)語義分割只需要對物體類別進行分類，不需要區(qū)分不同的個體。物體分割(Instance segmentation)是既需要區(qū)分類別，又需要區(qū)分同一物體的個體，所以深度學習的網(wǎng)絡需要學習到比之前語義分割任務更多的信息。這方面微軟亞洲研究院的戴繼峰做了非常開創(chuàng)性的工作。我們商湯科技石建萍高級研究員的工作也非常有創(chuàng)建性。通過多尺度局部區(qū)域融合的方法，端到端的實現(xiàn)了instance segmentation 物體類別與區(qū)分統(tǒng)一類別不同個體的信息。
計算機視覺黑科技
Q：最近CV的應用出現(xiàn)了一些黑科技，比如MIT給機器“看電視劇”預測人類行為；MIT的人工智能為視頻配音；迪士尼研究院可以讓AI直接識別視頻里正在發(fā)生的事。這些黑科技是噱頭多還是真的有意義？
做深度學習的人都是有一個終極的追求?，F(xiàn)在的深度學習模式其實比較傻。給定一個數(shù)據(jù)，以及對應的標簽（label）。比如說給一張圖片，標簽是一只貓，給另一幅圖片，標簽是一只狗，然后把這些數(shù)據(jù)送到神經(jīng)網(wǎng)絡里去學習，最終達到一個很好的識別效果。這樣的方法叫做監(jiān)督學習，雖然非常有效，但是和人類學習的方法還是不一樣的。深度學習的研究者希望，機器可以更加聰明，可以像人一樣學習。
在監(jiān)督學習領域取得了重大成果之后，大家就把更多的精力投入到更接近人類學習方式的半監(jiān)督學習（semi-supervised）和無監(jiān)督學習（unsupervised）上。一方面，我們希望更加的深入的理解人類視覺的機理、甚至人的智能的機理。另一方面，監(jiān)督學習需要大量的數(shù)據(jù)，如果能用半監(jiān)督或無監(jiān)督學習的方式繞過大數(shù)據(jù)標注難題，達到相同精度，這對工業(yè)界非常有吸引力。
問題中提到的這些黑科技，都是朝著人類學習方式探索性工作，非常有意義。
其實朝著這個方向努力的工作還有很多。這些工作都使用沒有監(jiān)督信息的圖像或者視頻。這些數(shù)據(jù)雖然沒有標簽，但數(shù)據(jù)內(nèi)部其實都是蘊含著一些結構。比如視頻里物體的運動、行為存在特定規(guī)律；在一張圖片里，一個物體也是有特定的結構的。利用這些視頻或圖像中特定的結構，我們可以把一個無監(jiān)督的問題轉(zhuǎn)化為一個有監(jiān)督問題，然后利用有監(jiān)督學習的方法來學習。
有兩個典型的工作。第一個工作把圖像劃分成2x2或者3x3的圖像區(qū)域，給定任意兩個區(qū)域預測他們之間的相對位置關系。這個工作利用到的物體、場景的固有結構特點，例如天空在道路上方，雙腿在身體下方。另一個工作利用視頻數(shù)據(jù)學習物體邊緣，主要用到了視頻中物體的邊緣相對于背景有較大的運動這一個特點。
長期來看的話，探索人類學習過程的半監(jiān)督、非監(jiān)督、多感知輸入的學習方式是深度學習的另一個發(fā)展趨勢。
怎么看最佳論文們
Q：微軟亞洲研究院的論文 Deep Residual Learning for Image Recognition 榮獲最佳論文獎，本屆 CVPR 2016最佳學生論文是斯坦福大學的 Structural-RNN: Deep Learning on Spatio-Temporal Graphs，您對這兩篇論文有什么看法？
凱明、孫劍的兩篇best paper都是十分鐘就能看懂，一天就能復現(xiàn)出結果。而對于之后的研究產(chǎn)生長遠影響的工作。另外，孫劍做研究的風格對我影響很大。問題導向，解決重要問題，做真正work的研究。這些方法論不僅在學術界非常有價值，而且在工業(yè)界研究更加重要。
回到論文本身，這篇論文解決的是深度網(wǎng)絡一般超過20~30層的時候，訓練和測試的loss不再下降，甚至隨著層數(shù)的增加，loss會逐漸增加，針對這個問題提出了一個非常行之有效的解決方案。這個方法之所以有效，有很多解釋，比如說有一種解釋是通過跨層（skip-layer）可以把loss反傳到中間的很多層，解決了梯度傳播的問題。另一種解釋認為ResNet通過skip-layer，可以做到深度方面的多模型融合。
我的解釋稍微有點復雜。我認為，沒有降采樣的情況下，當深度達到一定的程度的時候，卷積層的學習能力是逐漸減弱的。當網(wǎng)絡過深，增加的卷積層只能學習到噪音，并且造成有效信息損失，導致訓練和測試loss都增加的情況。Skip layer可以很好的自適應的調(diào)整每一層的學習目標，解決這個問題。
另外ResNet有很大的冗余，把152層網(wǎng)絡中的后面幾層去掉也不會改變精度，可能這些層都被skip了。保持精度的情況下，去掉這些冗余，做到更小更經(jīng)濟的網(wǎng)絡，非常有研究價值。
產(chǎn)業(yè)落地：從學術界到工業(yè)界
Q：論文總體上大概有基礎理論研究的論文和提出具體解決辦法的論文兩類，對于論文的產(chǎn)業(yè)化，我們正確的態(tài)度是怎樣的，比如多久論文投入實用的周期是適合？以及怎樣發(fā)揮最大意義？
現(xiàn)在產(chǎn)業(yè)界跟學術界的研究基本是并行進行的，總體來說，產(chǎn)業(yè)界沒有落后于學術界，學術界也沒有落后于產(chǎn)業(yè)界，只是產(chǎn)業(yè)界和學術界的側(cè)重點不一樣。
現(xiàn)在深度學習的研究迭代速度是非常非?？斓?#xff0c;而且快的驚人。在其他領域的話，學術研究主要是通過發(fā)表期刊文章來交流，期刊周期短的話可能一年，長的話可能要兩三年的時間。而在計算機領域，大家更多的是發(fā)表會議論文，會議論文的時間周期大概是半年的時間。在深度學習領域，大家第一時間把自己做出來的成果放在預印本(Arxiv)，半年之后再把論文投稿到會議上去。
在商湯科技，很多研究員養(yǎng)成的習慣就是每天先到預印本(Arxiv)上去看最新論文，如果這個論文的思想有價值或者這個論文做出了一些非常突出的成果的話大家都會第一時間嘗試復現(xiàn)，做一些探索性的實驗。
我認為，在深度學習這個特定的領域，新技術落地的周期幾乎為零。
Q：CVPR 上這么多主題演講（main conference），覺得認為哪幾個版塊的內(nèi)容最有用？
我覺得CVPR的很多版塊都非常有意思。要說哪個版塊最有用的話，從工業(yè)界實用的角度出發(fā)，當然是檢測識別的板塊最有用。
Q：參加本屆CVPR后有什么心得體會？
最大的體會是華人圈做計算機視覺真的很厲害。去年參加ICCV的時候所有ImageNet的比賽第一名都被華人包攬了。這次CVPR的時候也看到了非常多的華人的優(yōu)秀論文。凱明、少卿、翔宇、孫劍還拿了最佳論文獎。華人在計算機視覺領域的研究水平越來越高。這是非常振奮人心的事。稍微雞湯一下，我們中國錯過了工業(yè)革命，錯過了電氣革命，信息革命也只是跟隨狀態(tài)。但人工智能的革命，我們跟世界上的領先國家是并肩往前跑的。能身處這個時代浪潮之中，做一番偉大的事業(yè)，經(jīng)常激動的夜不能寐。
小結：
本期硬創(chuàng)公開課上，曹旭東重點為我們介紹了深度學習目前相對其它AI實現(xiàn)方法占優(yōu)的4個特點：精度好； 算法通用；特征推廣性好；工程框架統(tǒng)一。這或許可以解釋為深度學習現(xiàn)在在AI界大受歡迎的原因。
另外他指出計算機視覺里的核心任務，包括檢測、識別、分割、特征點定位、序列學習等五個大的任務，為計算機視覺的具體應用勾畫了一個清晰的脈絡。
不過令人震驚的是，談到深度學習這個特定領域的研究迭代速度，談到論文投入實用的合理周期，他認為在深度學習這個特定的領域落地的周期應該是零。雖然現(xiàn)在谷歌，Facebook等大公司正在引導論文從文字到實踐的產(chǎn)業(yè)化熱潮，但這樣的周期顯然是讓業(yè)內(nèi)人士感到驚心動魄的一個速度。
作者：機智的大群主
鏈接：https://zhuanlan.zhihu.com/p/21533690
來源：知乎
著作權歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權，非商業(yè)轉(zhuǎn)載請注明出處。
總結
以上是生活随笔為你收集整理的为什么深度学习几乎成了计算机视觉研究的标配？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 「无中生有」计算机视觉探奇
- 下一篇： 那些开源库你是怎么知道的？