來源：AI科技大本營

上周，由強化學習加持的AlphaZero，把DeepMind在圍棋上的突破成功泛化到其他棋類游戲：8小時打敗李世石版AlphaGo，4小時擊敗國際象棋最強AI——Stockfish，2小時干掉日本象棋最強AI——Elmo，34小時勝過訓練3天的AlphaGo Zero。

對于這個不再需要訓練數據的AlphaZero，有人將其突破歸功于DeepMind在實驗中所用的5064個TPU的強大計算能力，更有甚者則將整個深度學習的突破都歸功于算力，瞬間激起千層浪。

很快，南大周志華教授就在微博上指出，這個說法是絕對錯誤的！

“最重要的進步是由機器學習技術的進步帶來的，計算能力起到了促進作用而不是根本作用。”他的全文是這樣的：

對此，中科院計算所的包云崗研究員則表示，“算法進步和計算能力進步對今天AI都不可或缺”，二者相輔相成。其中算力提升的作用則表現在運行時間減少、功耗降低、開發效率提高這幾大方面，進步相當顯著：

此后，周志華教授則把該問題進一步定性為：“機器學習的進步使我們從‘不能’到‘能’，計算能力的進步使我們從‘能’到‘更好’。試圖抹殺前者的作用，認為一切都是計算能力提高帶來的，是錯誤且危險的”

交鋒的雙方均有數據來做支撐：一邊強調算法效率所提升的3萬倍；另一邊強調計算能力所提升的1萬倍，特別是并行計算能力所帶來的200萬倍提速。

隨后，杜克大學副教授陳怡然也加入論戰，在他那篇《有關最近深度學習的兩個爭論》中，陳教授認為計算能力的提高對于深度學習的發展是有很大貢獻的，他特別提到了Hinton老爺子和李飛飛教授的觀點：

之前很多文章說到深度學習這波高潮的標志性起點是2006年Hinton那篇Science文章。在這篇文章里Hinton其中第一次明確提到計算能力是其研究能成功的三大條件之一：“provided that computers were fast enough, data sets were big enough,and the initial weights were close enough to a good solution”。2014年IBM TrueNoth芯片的發布會我受邀請在現場，當時剛剛加入斯坦福不到兩年的李飛飛在她的邀請報告中明確提到CNN等深度學習模型的架構和1989年被發明時并無顯著區別，之所以能廣泛應用的主要原因時兩個主要條件的變化：大數據的出現和運算力的提升（大約提高了一百萬倍）。

這里提到的Hinton老爺子那篇文章，是他和當時的學生Russ Salakhutdinov（如今的蘋果AI主管）共同署名的《Reducing the Dimensionality of?Data with Neural Networks》一文。他們在文中提出了一種在前饋神經網絡中進行有效訓練的算法，即將網絡中的每一層視為無監督的受限玻爾茲曼機，再使用有監督的反向傳播算法進行調優。

這一論文奠定了反向傳播算法在深度學習中的支柱性地位，并給出了深度學習成功的三大基石：計算能力、大數據和算法突破。

“事后來看的話，利用大數據訓練計算機算法的做法或許顯而易見。但是在2007年，一切卻沒那么明顯……”這是李飛飛教授2015年在TED演講時所做的總結。到2009年，規模空前的ImageNet圖片數據集誕生了。其中包括1500萬張照片、涵蓋22000種物品，僅”貓”一個對象，就有62000多只長相各異、姿勢五花八門、品種多種多樣的貓的照片。

這一“貓”的數據集，為吳恩達2012年在Google Brain實現“認出YouTube視頻上的貓”的成果奠定好了基礎。

同樣在2012年，基于ImageNet的圖像識別大賽，Hinton和他的學生Alex Krizhevsky在英偉達GPU上取得視覺領域的突破性成果。據此，英偉達研究中心的Bryan Catanzaro跟吳恩達合作研究GPU，結果證實，12個GPU的深度學習能力相當于2000個CPU的表現總和。

而后，英偉達開始在深度學習上發力——投入20億美元、動用數千工程師，第一臺專門為深度學習優化的GPU被提上日程。經過3年多的開發，直到2016年5月正式發布，才有了老黃GPU的深度學習大爆炸。

簡單來從時間線上看，確實是先有算法上的突破，而后才有更大規模的數據集，以及專注于深度學習的GPU硬件。把這一切歸功于計算能力的提升，似乎確有免費替老黃賣硬件的嫌疑。

但是看具體的進展，Hinton老爺子2006年的算法突破終究離不開當時的數據集與計算機硬件。畢竟，Pascal語言之父Niklaus Wirth早就告訴我們，算法加上數據結構才能寫出實用的程序。而沒有計算機硬件承載運行的程序代碼，則又毫無存在的意義。

回到AlphaZero的問題，它的突破到底該歸功于算法還是算力？

我們知道，AlphaZero是AlphaGo Zero的進一步優化，后者的目的是讓電腦不學人類的對局也能學會圍棋，這是AlphaGo徹底打敗人類之后，DeepMind賦予其圍棋項目的新使命。盡管不使用任何訓練數據，AlphaZero卻用到5000個TPU來生成對弈數據，而用于模型訓練的TPU數量僅為64個。

而這里的一切投入，不過是DeepMind之父Demis Hassabis想要解決通用學習問題、超越人類認知極限的一個注腳。如果沒有DeepMind大量的人力物力投入，蒙特卡洛樹搜索算法和GPU并行計算可不會自發地進化成AlphaGo并打敗李世石、柯潔，如果沒有更進一步的投入，AlphaGo Zero也不會自己就能學會圍棋，AlphaZero更不會自動把它的圍棋能力泛化到其他棋類上。

也就是說，AlphaZero和它的強化學習算法、它的TPU運算集群，是由它背后David Silver、Demis Hassabis等人的瘋狂努力才組合出最佳的效果，向解決通用學習的最終問題又邁進了一步。

而撇開這個全景，單點去談算法和算力之于深度學習孰強孰弱，就有點像是拋開雞的整個物種的進化，而去談先有雞還是先有蛋的問題……問題只是，到底大家是關心雞的祖先多一點呢？還是關心餐盤內的雞蛋、雞肉好不好吃多一些？

未來智能實驗室致力于研究互聯網與人工智能未來發展趨勢，觀察評估人工智能發展水平，由互聯網進化論作者，計算機博士劉鋒與中國科學院虛擬經濟與數據科學研究中心石勇、劉穎教授創建。

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）云腦研究計劃，構建互聯網（城市）云腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。

??如果您對實驗室的研究感興趣，歡迎支持和加入我們。掃描以下二維碼或點擊本文左下角“閱讀原文”

總結

以上是生活随笔為你收集整理的算法还是算力？周志华微博引爆深度学习的“鸡生蛋，蛋生鸡”问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。