本文系投稿作品，投稿郵箱：tougao@bigdatadigest.cn

作者：杜圣東

1923年,愛因斯坦在他的諾貝爾得獎感言中說到：“我欲探索一個統整理論的理智思維,是無法滿足于存在有兩個本質彼此完全獨立的領域之假設”。這句話有點拗口，主要意思是，愛因斯坦認為自然科學中“統一”的概念或許是一個最基本的法則。后來直到去世，愛因斯坦都在致力于尋求一種能將引力場與電磁場，相對論與量子論統一起來的統一場理論。后來霍金在《時間簡史》中也指出了大統一理論的可能性 ，他認為也許會發現大統一理論。雖然迄今為止統一場論都尚未得到發現驗證，但對常人的理解來講，通過一個簡單美妙的公式就能預測和描述宇宙萬事萬物，不異于天方夜譚。

同樣，在人工智能領域，要真正實現專家們口中的超人工智能（SuperAI），也還有極漫長的路要走。有沒有一種終極算法，能讓人類一步到位設計出超人類的AI系統？這跟愛因斯坦提出的統一場論一樣，還面臨著理論與設計實現的巨大挑戰。今年LeCun（FaceBook AI實驗室負責人）曾說到：“絕大多數人類和動物的學習方式是非監督學習。如果智能是個蛋糕，非監督學習才是蛋糕主體，監督學習只能說是蛋糕上的糖霜奶油，而強化學習只是蛋糕上點綴的櫻桃。現在我們知道如何制作“糖霜奶油”和上面的“櫻桃”， 但并不知道如何制作蛋糕主體。我們必須先解決關于非監督學習的問題，才能開始考慮如何做出一個真正的AI。這還僅僅是我們所知的難題之一。更何況那些我們未知的難題呢？”正如LeCun所說，未來解碼人類學習方式的關鍵突破性技術，很可能會由無監督學習來完成，因為無監督才是人類和動物學習的關鍵模式，嬰幼兒通過少量有監督學習訓練之后，在后續幾十年的成長過程中，能夠觀察并發現世界的內在結構和獲得經驗知識，都是一種無監督的自發主動的學習模式，而不是像小時候被父母告知每項事物的名稱和意義。要攻破無監督學習這座AI堡壘，貌似在短期內不可能。但就在昨天，Nature發布了Deepmind關于阿爾法狗元（AlphaGoZero）的文章，在科技圈引起了不小轟動，貌似LeCun口中的“櫻桃”（強化學習）大放異彩，使得AI向無監督自我學習進化又邁出了一大步。本文就來談談，要實現SuperAI和終極算法的可能性，兼論阿爾法狗元從0到1的重大意義，貌似開了一個好頭。

阿爾法狗元(AlphaGo Zero)的橫空出世

最近幾年，人工智能的研究和應用，從語音識別、圖像分類到基因組學和藥物發現等多個領域取得了快速進展。這得益于大數據和深度學習的有力支持。可以這么講，這波AI大躍進多是數據驅動的AI，沒有大數據的喂養，沒有GPU算力的普及化，就沒有深度學習的成功。數據驅動的AI離不開大數據，大數據與AI形成一種共生關系：一方面，AI基礎理論技術的發展為大數據機器學習和數據挖掘提供了更豐富的模型和算法，如深度網絡衍生出的一系列相關技術（深度學習、強化學習、遷移學習、對抗學習等）和方法；另一方面，大數據為AI的發展提供了新的動力和燃料，數據規模大了之后，傳統機器學習算法面臨巨大挑戰，要做并行化、要加速、要改進。當前的弱AI應用都遵從這一技術路線，大數據、深度學習和GPU計算居功至偉。然而，這些利用了大量人力、物力資源和海量數據的AI系統。卻很難擴展到通用AI的程度，更不必說超AI了，比如ImageNet的上千萬張圖片訓練出的AI系統，卻無法對醫療和自動駕駛領域產生同樣重大的作用。需要另起爐灶，重新花大量人力物力進行針對性的數據標注和AI系統建設。類似這些問題，對人類歷史經驗數據太過依賴，而這種大數據知識成本昂貴，或不可靠，或根本無法使用。因此，Super AI的研究必須要能繞過大數據，通過解碼人腦智能學習機理，才能創造出一種終極算法。而阿爾狗元的橫空出世，向我們展現了邁向這一目標的可能性。不需要上百萬盤歷史棋譜數據，僅訓練3天（自己左右互搏490萬棋局），只需要4片TPU就戰勝了舊版AlphaGo 系統，而比分是100：0；舊版阿爾法狗采用了48片TPU，需要花幾個月學習幾千萬盤棋局才完全戰勝人類。以致于柯潔面對新版的阿爾法狗元，發表了如下無力吐槽。

阿爾法狗元的智能解碼

阿爾狗元為什么能在如此短的時間，有如此驚人的進步？下面我們來分析下新版阿爾法狗元的智能“級數”。關于智能，古今中外許多哲學家、腦科學家都一直在努力探索和研究，但至今仍然沒有完全了解，可以說理解甚少。所以有，智能的發生與物質的本質、宇宙的起源、生命的本質一起被列為自然界四大奧秘。隨著腦科學、神經心理學等研究的進展，我們對人腦的結構和功能有了初步認識，但對整個神經系統的內部結構和作用機制，特別是大腦的功能原理卻知之甚少。在這樣一個大背景下，深度學習的階段性成功，可謂是誤打誤撞。深度學習也被很多專家稱為類腦學習，其實不夠嚴謹，最多算是類人腦視覺皮層學習，簡單的神經元連接結構離完全模擬人腦還差十萬八千里。但換個角度看，才入門就有了奇效？解碼人腦的學習記憶機制才能設計出終極算法么？這個答案仁者見仁智者見智，且看后文分解。

舊版AlphaGo采用的核心技術是基于深度學習+強化學習+蒙特卡洛樹決策的組合式學習方法，也可以說是學習框架，其已經摸到了類腦學習的大門，其學習下棋分為三個階段：（１）通過對歷史棋譜的深度學習完成策略網絡的構建，采用深度學習技術訓練一種有監督學習型走棋策略網絡，類似于我們的觀察學習獲得的第一反應。（２）通過自我對戰強化學習來提高博弈水平，采用強化學習技術來優化先前的走棋策略網絡，通過自我博弈的強化學習迭代結果，來提升前面的策略網絡。即與之前的“自己”不間斷訓練以提高下棋的水平，這個過程有點類似于人類的鞏固學習和理解貫通階段。（３）通過深度回歸學習構建估值網絡，用來預測自我博弈強化學習數據集里局面的預期結果，即預測那個策略網絡的局面會成為贏家。結合蒙特卡洛樹（MCTS）搜索壓縮搜索空間，降低了搜索時間復雜度， MCTS決策有效結合了策略網絡和估值網絡，類似于人類的判斷決策過程。而新版的AlphaGo Zero做了較大改進，一是跳過了第一個階段，完全拋棄了歷史棋譜的學習，訓練學習從無到有；二是改進了原強化學習的形式，只使用一個神經網絡而不是兩個神經網絡，通過將這個神經網絡與MCTS搜索算法相結合，通過左右互搏自娛自樂，按設定的走棋規則隨機開始圍棋小白式的學習，靠激勵、懲罰的強化學習機制來糾正學習過程中的錯誤，調整提升學習能力。這種機制已經很接近完全無監督學習，擺脫了對人類標注數據的依賴（歷史棋譜）。這也是為什么阿爾法狗元能以100:0戰勝舊版阿爾法狗的原因，只靠模仿和師傅教是很難在較短時間內超越師傅的，而周伯通能成為武林頂尖高手，就是因為他的武功只靠原創從不模仿。

DeepMind AlphaGo項目首席研究員大衛.西爾弗（David Silver，左）與CEO德米斯.哈比斯（Demis Hassabis）

有點扯遠了。回到正題，對于阿爾法狗元，我們先提兩個問題：（1）阿爾法狗元既然能有如此進步，為什么創始人在原來沒有想到？（2）阿爾法狗元還有一個梗，使其還有較大的智能瓶頸，這個瓶頸是什么？第一個問題很好理解，阿爾法狗的創始人哈比斯（如上圖）從小就是圍棋迷，圍棋迷是很難說跳出圍棋看圍棋的，所以他設計的系統首先是對歷史棋譜進行有監督訓練學習，通過吸收人類棋譜數據中的經驗學習下棋，觀看數千場比賽，并被告知人類專家在某些位置上的特定動作，這也是一般人成為武林高手的必經之路。而David Silver提出的改進版AlphaGo Zero使用了一種新的強化學習形式，跳出圍棋歷史經驗來下棋，在這一過程中，全靠自學。采用一個對圍棋一無所知的神經網絡，它會與自己進行數千場對弈。它所走的每一步棋就是把這個神經網絡與強大的搜索算法結合起來，然后用它來選擇下一個動作。在每場對弈結束后，AlphaGo Zero實際上都訓練了一個新的神經網絡，這種無師自通的學習方式能加速學習能力的迭代，所以才有如此成績。針對第二個問題，顯然AlphaGo Zero這種不參考專業數據和歷史經驗的學習方式，消除了人類學習依靠歷史經驗和知識的局限性，未來即使是弱AI，形勢一定比人強，理論上講，任何可以明確定義規則和設定目標的問題或工作都能被AI取代，唯一的瓶頸就是這個規則，如何有效地定義規則和目標？圍棋的走法貌似隨意但卻有通用規則，棋盤格局對于殘差卷積模塊來講也很友好，其實這個改進思想跟采用GAN自我對戰打游戲是類似的（OpenAI已經開發出了一款AI，可以在沒有任何人工輸入的情況下，自學如何玩電腦游戲）。我們看不管是下棋還是玩游戲，都有容易形式化的規則，而人類的大部分工作，特別是在數字化、信息化的大背景下，未來被AI替代很可能是分分鐘的事情，如翻譯、交易、駕駛、會計、審計等等。但對需要多方博弈決策方面的事務來講，這種級別的AI還是無能為力的，當然也還談不上類腦智能。

終極算法:統一場論的AI版

要實現真正的AI，是否需要一種終極算法？在筆者看來，愛因斯坦的統一場論是為了解碼宇宙客觀事物運行的本質規律；而終極算法就是為了解碼人類智能的本體、本源和統一機理。靠一系列面向特定任務的算法和龐大子系統進行組合形成的智能體，當然可以在一定程度上具有智能，但要達到通用AI、超AI的水平，個人認為這條路不可行。首先我們看下傳統算法、機器學習算法和終極算法三者的區別：（1）傳統算法：將數據輸入到計算機，計算機利用設計好的算法來進行計算處理，最終輸出需要的結果，比如金融自動交易，需要設計算法實現交易公式、規則的計算，輸入數據按照設計好的規則進行計算處理和結果輸出；（2）機器學習：機器學習算法不需要通過編程設定計算規則，而是把數據直接輸入到模型中（包括輸入數據和標簽輸出數據），模型經過訓練獲得預測優化的參數，最終構建好具有一定預測能力和穩定性的機器學習模型；（3）終極算法：終極算法的一個前提假設是，所有知識，無論是過去、現在還是未來的，都有可能通過單個通用學習算法來從數據或環境中獲得，這種算法稱為終極算法。機器學習算法的首要任務是區別可以預測的事與不可預測的事。終極算法的目標則是學習一切能夠認知的東西，在機器學習中，復雜性存在于數據中，而終極算法要做的就是通過擬合數據或拋開數據和環境交互來消化理解這種復雜性。

幾十年來，機器學習算法研究的五大門派（如上圖）一直以來都在彼此爭奪主導權。 (1)符號派：使用符號、規則和邏輯來表征知識和進行邏輯推理，最喜歡的算法是：規則和決策樹。(2)貝葉斯派：獲取發生的可能性來進行概率推理，最喜歡的算法是：樸素貝葉斯或馬爾可夫。(3)進化派：生成變化，然后為特定目標獲取其中最優的，最喜歡的算法是：遺傳算法。(4)類推派：根據約束條件來優化函數（盡可能走到更高，但同時不要離開道路），最喜歡的算法是：支持向量機。(5)聯結派：使用概率矩陣和加權神經元來動態地識別和歸納模式，最喜歡的算法是：神經網絡。上述傳統算法和各大門派的機器學習算法需要人類知識、規則、經驗和數據的支持，是一種歸納和演繹學習的范疇，這種學習受限于數據本身，即使是大數據也不能全樣本覆蓋，而且包含各種噪音、錯誤或有偏見的數據，這樣使得學習出來的模型也很難是最優的。而終極算法要能進行自我創造和學習，根據學習目標去自我創造樣本、自我學習來加深對事物的理解從而獲得學習能力，這才是真正的智能。能否實現終極算法，怎么實現終極算法，下面從阿爾狗元的強化學習、人類大腦新皮層的學習機理和深度學習網絡三個方面的融合來進行探討分析。

終極算法的可能性?類腦學習的啟示

人腦由一千多億個神經細胞（神經元）交織在一起的網狀結構組成，其中大腦皮層約140億個神經元，小腦皮層約1000億個神經元。神經元約有1000種類型，每個神經元大約與100個其他神經元相連接，形成極為錯綜復雜而又靈活多變的神經網絡。人的智能行為就是由如此高度復雜的組織產生的。浩瀚的宇宙中，也許只有包含數千憶顆星球的銀河系的復雜性能夠與大腦相比。很多學科的研究人員試著從不同角度解碼人腦的智能，人工智能從一開始就試圖模擬、延伸和擴展人類智能，但迄今為止大部分AI研究成果還僅僅只能從行為上模擬部分智能。如何從更深入的機制上探索智能的本質及其計算實現的機理，是神經計算與類腦學習面臨的主要挑戰。對未來終極算法的設計實現，筆者認為有三種重要的類腦學習方法，也許能給我們一些啟示。

（1）大腦新皮層

Jeff Hawkins在其2004年出版的著作《On Intelligence》中,提出了一種大腦皮層運作的記憶-預測框架。闡述了大腦皮層框架運作的核心原理,提出了一種新皮層的理論，用以建立一種基于空間-時間記憶流模式的智能預測架構,而且設計實現了分層皮質學習算法（HTM）。Jeff Hawkins的大腦皮層理論框架與算法，目標很宏大，直指人類學習的終極算法。其中有幾個主要理論值得與大家分享：

a.“大腦新皮層是一個分層的架構。在分層中的每一層或者區域，又是由密集包裹著的細胞組成的多個層。當感知信息到達大腦新皮層時，它穿過了分層架構中的各個層。在這些區域的細胞變得活躍，逐步對輸入進行抽象，得到不變的特征。然而，在架構的最底層的細胞對輸入的簡單的特征做出了最優的反應，離架構頂層最近的細胞則對高層次的概念做出反映，比如對外表、語言、動作等。”——這跟當前深度網絡的逐層學習思想是一致的。

b.“令人吃驚的是，在大腦新皮層中的區域，無論它們駐扎在什么地方，無論它們處理什么類型的感知信息，它們幾乎都相同的結構。視覺區域類似于聽覺區域，也類似于語言區域。大腦新皮層完全使用了通用的機制。通過了解這些機制，我們能夠模擬它們，并將它們應用運用到學習、推理、預測等多種問題中。盡管基于HTM理論還無法捕捉到大腦新皮層完整的復雜結構及學習機制，但是它已經足夠強大到來解決一些困難且有商業價值的問題了。”——這點也許能解釋為什么深度學習能如此有效？

c.“HTM是一個記憶系統，隨著時間變化，它通過給它的感知數據來學習它的世界，并從數據中抽象出高層的概念。抽象允許HTM網絡來進行一般化(generalize)，并對于傳統計算機編程處理的嚴格規則提供靈活性和效率。例如，在不完整或是模糊不清的數據呈現中，模式能夠被學習并識別出來。通過組合模式學列的記憶與當前的輸入，HTM網絡能夠預測下一步可能發生什么。反過來，這種預測能夠使用在從猜測可能的結果到檢測欺詐等一系列的認知活動中。”——這點出了深度學習未來的潛力，特別是跟記憶的融合。

可以看出Jeff Hawkins在13年前就提出的大腦新皮層理論框架，與當今大火的深度學習有著異曲同工之妙。不過在具體算法實現上與深度網絡有較大差異，不過整套理論的核心思想就是要實現解碼智能的終極算法，潛力如何還有待觀察。

（2）深度學習與強化學習

深度學習專家們講得比較多，我就不贅述了。值得一提的是，深度學習的類腦模擬研究還很初級，神經計算和深度學習的交叉融合其實還遠沒有開始。深度學習的加層機制來源于對人類大腦視覺分層處理的理解，而原人工神經網絡也只是很初級的模擬了人腦神經元的連接和激活。人腦實現學習、記憶、推理、情感等能力的生化神經網絡運行原理我們根本都還知之甚少，但是，深度學習加減層、加減神經元、加減鏈接、跨層跨連接等這些簡單的網絡構建方法卻是跟人腦的運行機制有類似的地方，幼兒到成人神經元數量在增加、學習和記憶能力提升是神經元之間鏈接的建立和加強，而能力衰退也對應于神經元鏈接的斷裂等等…

可以說，深度學習在借鑒大腦神經網絡原理和人類認知過程方面，也許還沒入門，還有很多問題需要深入挖掘和拓展。比如讓Deepmind情有獨鐘的強化學習，與深度學習強強聯合之后，在很多智能研究中大放異彩。強化學習的主要目的是幫助模型形成從環境到行為映射的學習，這種學習方法不是告訴系統如何產生正確的動作，而是通過評價產生動作的好壞來不斷迭代改進學習能力，從而找到問題的最優解。而且強化學習在一定程度上能解決深度學習嚴重依賴大數據的問題。

總之，未來終極算法的誕生，可能是多種學習方式的深度交叉融合，機器的情感、記憶推理等高級智能，將會由基于深度特征學習和加裝存儲記憶、推理模塊的遷移學習、強化學習、對抗學習等各種學習方式的交叉融合而實現，未來的機器學習方式可能遠不只這幾種，其本質都是在模仿人類的學習方式。遷移學習代表了我們的進化過程，學習的舉一反三、觸類旁通，強化學習、對抗學習類似周伯通左右互搏、無師自通等，以深度學習思想為主線的算法和框架技術棧將極大地拓展五大機器學習門派的功力。

展望

嚴格來講，傳統規則式AI系統還稱不上智能，而現在的深度學習也只是大數據驅動的初級智能。以前我提過一個問題，未來有沒有非數據驅動的終極智能？換句話說，如果沒有大數據，除了專家系統和規則式AI，人工智能要通用化，要達到SuperAI的水平，能否有所突破？這取決于終極算法的能力。規則式AI更多靠人工內置的經驗和知識驅動，它最大的問題也是要人工介入，而且很難具有學習能力，靠的知識、記憶和經驗建立的規則體系，這種不能自學習的符號AI系統隨著明斯基的去世，在逐步退出歷史舞臺。而強AI的目標是機器智能化、擬人化，機器要具有和人一樣的能力，那就離不開記憶和經驗，也離不開通過知識、經驗和記憶建立起來的認知體系（經驗規則、知識本體）。從這個角度講，強AI要實現只靠深度學習、強化學習還不夠，通過深度學習、強化學習進行環境基礎知識的初步監督式指導學習或非監督自我體驗學習，學習掌握的知識、經驗必須要能存儲和記憶，再結合大腦新皮層理論的時間-記憶流預測框架，在遇到新的問題之后，就能像人一樣快速智能響應。這也許就是未來終極算法的融合誕生之路吧？

優質課程推薦：《人工智能的數學基礎》

往期學員評價（by 田昕峣）

作為一名軟件工程在讀本科生，關于機器學習和人工智能領域的課程我也沒少上。而在我所有上過課程的老師中，對于基礎數學知識講解的最詳細、最透徹的，程博士絕對是數一數二的。

程博士曾經在信號處理領域做過深入研究，對于計算機領域涉及到的數學問題，也同樣有著非常獨到的理解。而正是他這種基于大量工程項目經驗的理解，能夠很輕易的幫助同學們把非常抽象復雜的數學問題，講的生動有趣，透徹明白。

他常常能把高維的數學問題降低到二維，在二維中帶領大家理解其中的原理，再反過來推廣到高維。這種方法就如同看推理小說，在得出結論時絕對可以令你拍案叫絕。

我很感激能夠聽到程博士的課程，我也非常希望把這份優質的課程介紹給其他同學。

往期精彩文章

點擊圖片閱讀

谷歌新發布了一個精確標注動作的數據集，堪稱ImageNet視頻版

總結

以上是生活随笔為你收集整理的从阿尔法狗元(AlphaGo Zero)的诞生看终极算法的可能性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。