剛才講到深度學習，腦環路和深度學習可能有一些相似性，但有些是不同的地方。我的演講有兩部分內容，一方面我一直強調復雜科學對整個領域的影響；另外和它相關的話題就是大腦的連接結構。

1.復雜科學

我們是生活在一個復雜的世界里，有空間、時間及時空的復雜性。什么叫復雜性？大家可能知道有個叫復雜性科學的領域90年代比較熱，后來冷了一些。但是大家覺得這個領域還處于萌芽期，真正大放異彩的時候是在未來。概括起來說，復雜性有一些共同的特點，在看似復雜的過程中有一些規律，但是規律不是那么清晰，現在更多是統計上的規律。我們能不能把它們提煉出來，像堯老師說的，在發現了很多東西后能不能變成有用的，這是這個領域再往下走可能最重要的事情。大家對復雜性的批判，比如混沌理論是相關理論聽了很多，但是哪有根據混沌造的飛機，沒有現實能用的例子，不像牛頓力學一發現，人類就能發火箭，雖然相關工程化也經過了很長過程。

為什么我還是覺得這個東西很重要？還是從深度學習說起。有一次作報告他們也問我，這次深度學習為什么能爆發？我覺得最重要的是因為大數據的作用，有了大數據，有了訓練算法和計算能力，就有了深度學習，用很復雜的模型就能顯著提高功能。但是，世界是復雜的，其數據量呈長尾分布。什么叫長尾分布？就是尾巴特別長，尾巴長就是不常見的事情如果加起來其實很多。對這些常見的事件，我們有大數據，用深度學習就行。但是生活中存在足夠多的不常見的事情，讓你沒法用深度學習全部搞定，總是有足夠多不常見的事情。比如現在自動駕駛領域碰到這個問題，總是出現你以前沒有想到的情況，而且這種情況還挺多，不能忽略。

大腦是在這么一個世界里進化出來的，所以它對長尾不常見的事情一定有辦法，比如用推理、可以猜等很多種辦法，這是我們一定要考慮的問題，而不只是迷戀大數據。大腦的特性本身就有復雜性，所以在某種意義上它和這個世界是同構的。

具體來說，大腦中常見的長尾分布有兩種，一種叫冪律分布，最經典的就是帕雷多分布，富人總是很少的，但他們總是掌握很多錢。它最大的特點就是具有無尺度性，從哪個尺度看好像都長的差不多，很難說哪個尺度是關鍵的尺度，分型就是典型例子。這個分布在物理學上和一個叫做混沌邊緣的對應起來，這是當年復雜性科學里面一個比較經典的成果。如圖所示，當時用了一個非常簡單的叫做單元自動機來演示這個現象。用很簡單的規則拼起來涌現看發生什么情況。有一個參數，你可以認為是復雜度，當它小時，就是很簡單的行為；當復雜度很大時，已經變成完全不可控就是所謂的混沌狀態，完全不能預測下一刻會發生什么。但有一個很有意思的參數區間，在混沌的邊緣就會出現比較復雜的，有點像分型的東西就出來了。所以有可能大腦就處在中間的狀態，這也是為什么出現了很多長尾分布。

大家問了，中間的狀態是很小的一個區域，其實完全更有可能處于比如完全不可控的發癲癇的混沌區域，或者完全睡覺的，有可以預測節律出現的簡單區域。但在工作狀態中，日常中處理大腦事物上，大腦處在臨界狀態。這是怎么做到？這就需要有一個調控機制把大腦控制在這個區域上。這個參數區間很大，大部分情況要么發癲癇了，要么就睡覺。

這是北大現在的湯超老師和per Bak在1988年很有名的一個沙堆模型的例子，可以看到大自然中其實大部分狀態是處在這個臨界的，因為再放沙堆就垮了，垮到臨界的狀態，有一個自動回歸的機制。它解釋了為什么大自然中雖然這個參數區域很小，但是大自然中這樣的系統是很常見的，有一套方法把它調回去。這是可以借鑒的方法。

在神經學上也有類似的現象發現就是神經雪崩現象，具體來說把神經元的發放看似沙堆垮下來的感覺，它的發放大部分是很小的，偶爾有一個大的發放，如果去統計發放的大小有冪律的分布。

大家想為什么我們大腦會經常處于臨界狀態？一個可能性是大腦具有興奮和抑制的平衡，這個好像是現在的人工神經元網絡沒有太多討論的。現在人工神經元網絡沒有把興奮神經元和抑制神經元分開，它不具有單獨的抑制能力。大腦可以通過調控興奮抑制平衡，尤其是抑制性神經元是可以調控的，比如已知的結果，抑制性神經元功能太強就睡覺。現在有很多研究，大概說在信息傳輸和記憶學習當網絡處于臨界態時有一定的好處，我不想仔細說那些內容。我覺得它最大的效果可能是沒有完全被搞明白的，這可能跟人思維的方式有關。比如我們創造力的過程，經常是你自己苦思冥想但是你自己不知道在想什么，你的潛意識在不斷醞釀可能是小的火花在閃耀，但一旦一個時間它們足夠大了以后就會聚成一個大的火花，形成一個創造性的發明。我一直覺得這里好像有些什么重要的規律在里，當然我還沒有完全把這個搞明白。

總結

以上是生活随笔為你收集整理的中国人工智能学会通讯——神经环路研究最新进展及对类脑计算的启示 1.复杂科学...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。