序

????????AI到底向哪個方向去？有很多學者質疑AI只有artificial 不見intelligence；的確，目前的AI主流是深度學習，也就是傍著一個龐大數(shù)據(jù)集去群舉地刻畫一次，然后再使用模型。此中確實與套用死公式無異，沒有多大的變通性；當然智慧性也不大。而越是自然的模型，前景就更好。本文摘自維基百科。主要闡述卡爾·約翰·弗里斯頓（Karl John Friston）的自由能學說。從理論上闡述高級AI模型應該有的結構和物理思想，此等構思雖然目前不足以立刻實現(xiàn)，但是，這是趨勢！這是未來！對于一般的應用工程師，該文啟發(fā)性是相當大的，至少我這么認為。

????????卡爾·約翰·弗里斯頓（Karl John Friston）皇家醫(yī)學會院士（FMedSci）是英國倫敦大學學院的神經(jīng)科學家，是大腦成像領域的權威。作為自由能原理和預測編碼理論的主要支持者，他贏得了聲譽。??

一、前言

（原文鏈接）The Genius Neuroscientist Who Might Hold the Key to True AI | WIRED

????????自由能原理是一個正式的陳述，它解釋了生命和非生命系統(tǒng)如何通過將自身限制在有限數(shù)量的狀態(tài)來保持在非平衡穩(wěn)態(tài)。它建立了系統(tǒng)最小化其內(nèi)部狀態(tài)的自由能函數(shù)（不要與熱力學自由能混淆），這需要對其環(huán)境中隱藏狀態(tài)的信念。自由能的隱式最小化在形式上與變分貝葉斯方法相關，最初由 Karl Friston （弗里斯頓）引入，作為對神經(jīng)科學中具身感知的解釋，[1] 在那里它也被稱為主動推理。

????????自由能原理通過通過馬爾可夫毯對其進行建模來解釋給定系統(tǒng)的存在，該馬爾可夫毯試圖最小化他們的世界模型與他們的感覺和相關感知之間的差異。這種差異可以被描述為“驚覺suprise”，并通過系統(tǒng)的世界模型的不斷修正來最小化。因此，該原理基于將大腦視為“推理引擎”的貝葉斯思想。弗里斯頓添加了第二條最小化途徑：行動。通過積極地將世界轉變?yōu)轭A期狀態(tài)，系統(tǒng)還可以最大限度地減少系統(tǒng)的自由能。弗里斯頓認為這是所有生物反應的原理。 [2]弗里斯頓還相信他的原則適用于精神障礙和人工智能。基于主動推理原理的人工智能實現(xiàn)已顯示出優(yōu)于其他方法的優(yōu)勢。 [2]

????????自由能原理因難以理解而受到批評，即使是專家也是如此。 [3]對該原理的討論也被批評為引用與可檢驗的科學預測相去甚遠的形而上學假設，使該原理不可證偽。 [4]在 2018 年的一次采訪中，弗里斯頓承認自由能原理是不可證偽的：“自由能原理就是它的本質——一個原理。就像漢密爾頓的靜止作用原理一樣，它不能被證偽。它不能被證偽。事實上，除非您詢問可測量的系統(tǒng)是否符合該原則，否則您無能為力。”[5]

????????自組織生物系統(tǒng)——如細胞或大腦——可以被理解為最小化自由能變化的概念是基于亥姆霍茲在無意識推理[6]以及心理學[7]和機器學習的后續(xù)治療方面的工作[8]。變分自由能是觀察結果和隱藏原因的概率密度的函數(shù)。這種變分密度是根據(jù)概率模型定義的，該模型根據(jù)假設的原因生成預測的觀察結果。在這種情況下，自由能提供了貝葉斯模型證據(jù)的近似值。 [9]因此，它的最小化可以看作是一個貝葉斯推理過程。當一個系統(tǒng)主動進行觀察以最小化自由能時，它隱含地執(zhí)行主動推理并最大化其世界模型的證據(jù)。 然而，自由能也是結果自我信息的上限，其中意外的長期平均值是熵。這意味著，如果一個系統(tǒng)采取行動以最小化自由能，它將隱含地為其采樣的結果（或感官狀態(tài)）的熵設置上限。

與其他理論的關系

????????主動推理（Active inference）與良好的調(diào)節(jié)原理（regulator theorem）?[12] 和自組織的相關解釋密切相關（self-organisation），[13] [14] 如自組裝（self-assembly）、模式形成（pattern formation）、自創(chuàng)生 （autopoiesis）[15] 和實踐創(chuàng)生（practopoiesis） [16]。它涉及控制論（cybernetics）、協(xié)同學（synergetics）[17]和具身認知（embodied cognition）中考慮的主題。由于自由能可以表示為變分密度減去其熵下觀測的期望能量，因此也與最大熵原理有關（maximum entropy principle）[18]。最后，因為能量的時間平均是作用量，所以最小變分自由能原理是最小作用量原理（principle of least action）。

（參考原文）Active inference is closely related to the?good regulator theorem[12]?and related accounts of?self-organisation,[13][14]?such as?self-assembly,?pattern formation,?autopoiesis[15]?and?practopoiesis.[16]?It addresses the themes considered in?cybernetics,?synergetics[17]?and?embodied cognition. Because free energy can be expressed as the expected energy of observations under the variational density minus its entropy, it is also related to the?maximum entropy principle.[18]?Finally, because the time average of energy is action, the principle of minimum variational free energy is a?principle of least action.

二、自由能理論定義

1 定義（連續(xù)公式）

主動推理依賴于元組?

1 樣本母空間 – 隨機波動 從中抽取
2 隱藏或外部狀態(tài) – 導致感官狀態(tài)并取決于行動
3 感官狀態(tài) – 從動作和隱藏的概率映射狀態(tài)
4 動作 – 這取決于感覺和內(nèi)部狀態(tài)
5 內(nèi)部狀態(tài) – 導致動作并依賴于感官狀態(tài)
6 生成密度 – 生成模型下的感官和隱藏狀態(tài)
7 變分密度 – 隱藏狀態(tài) 由內(nèi)部狀態(tài)參數(shù)化

2? 動作和感知

? ? ? ? 目標是最大化模型證據(jù) 或最小化驚喜 。這通常涉及對隱藏狀態(tài)的難以處理的邊緣化，因此驚喜被替換為上變分自由能界限。 [8]然而，這意味著內(nèi)部狀態(tài)也必須最小化自由能，因為自由能是感覺和內(nèi)部狀態(tài)的函數(shù)：

這導致分別對應于動作和感知的動作多少和內(nèi)部狀態(tài)的雙重最小化。

三、自由能最小化理論

3.1? 自由能最小化和自組織

????????當將自由能最小化為隨機動力系統(tǒng)時，已提出將其作為自組織系統(tǒng)的標志。 [19]該公式基于將內(nèi)部和外部狀態(tài)分開的馬爾可夫毯（包括動作和感覺狀態(tài)）。如果內(nèi)部狀態(tài)和動作最小化自由能，那么它們會為感覺狀態(tài)的熵設置一個上限：

????????這是因為——在遍歷假設下——意外的長期平均值是熵。這個界限抵抗了一種自然的無序趨勢——與熱力學第二定律和漲落定理相關的那種。然而，根據(jù)統(tǒng)計物理學的概念，如隨機動力系統(tǒng)、非平衡穩(wěn)態(tài)和遍歷性，為生命科學制定統(tǒng)一的原則，對生物系統(tǒng)的理論和實證研究施加了實質性的限制，有可能會混淆所有使生物系統(tǒng)成為有趣的自組織系統(tǒng)的特征[20]

3.2 自由能最小化和貝葉斯推理

????????所有貝葉斯推理都可以根據(jù)自由能最小化[21][驗證失敗]進行。當自由能相對于內(nèi)部狀態(tài)最小化時，隱藏狀態(tài)的變分密度和后驗密度之間的 Kullback-Leibler 散度最小化。這對應于近似貝葉斯推理——當變分密度的形式固定時——否則對應于精確貝葉斯推理。因此，自由能最小化提供了貝葉斯推理和過濾（例如，卡爾曼過濾）的一般描述。它還用于貝葉斯模型選擇，其中自由能可以有效地分解為復雜性和準確性：

????????具有最小自由能的模型在復雜性成本下提供了對數(shù)據(jù)的準確解釋（參見奧卡姆剃刀和更正式的計算成本處理[22]）。在這里，復雜性是變分密度和關于隱藏狀態(tài)的先驗信念（即用于解釋數(shù)據(jù)的有效自由度）之間的差異。

3.3?自由能最小化和熱力學

????????變分自由能是一種信息論泛函，不同于熱力學（亥姆霍茲）自由能。 [23]然而，變分自由能的復雜性項與亥姆霍茲自由能共享相同的不動點（假設系統(tǒng)在熱力學上是封閉的但不是孤立的）。這是因為如果感覺擾動被暫停（在適當長的時間內(nèi)），復雜性就會被最小化（因為準確性可以忽略不計）。此時，系統(tǒng)處于平衡狀態(tài)，內(nèi)部狀態(tài)根據(jù)最小能量原理最小化亥姆霍茲自由能[24].

3.4 自由能最小化和信息論

????????自由能最小化等效于最大化感官狀態(tài)和內(nèi)部狀態(tài)之間的互信息，這些信息將變分密度參數(shù)化（對于固定的熵變分密度）。[10][需要更好的來源]這將自由能最小化與最小冗余原則聯(lián)系起來[ 25] 以及使用信息理論描述最佳行為的相關治療。 [26] [27]

四、神經(jīng)科學中的自由能最小化

????????自由能最小化提供了一種有用的方法來制定在不確定性下的神經(jīng)元推理和學習的規(guī)范（貝葉斯最優(yōu)）模型 [28]，因此支持貝葉斯大腦假設。 [29]自由能最小化描述的神經(jīng)元過程取決于隱藏狀態(tài)的性質： 可以包含時間相關變量、時不變參數(shù)和隨機波動的精度（反方差或溫度）。最小化變量、參數(shù)和精度分別對應于推理、學習和不確定性的編碼。

4.1?感知推理和分類

????????自由能最小化形式化了感知中無意識推理的概念[6][8]，并提供了神經(jīng)元處理的規(guī)范（貝葉斯）理論。神經(jīng)元動力學的相關過程理論基于通過梯度下降最小化自由能。這對應于廣義貝葉斯濾波（其中 ~ 表示廣義運動坐標中的變量，?是導數(shù)矩陣算子）：[30]

????????通常，定義自由能的生成模型是非線性和分層的（就像大腦中的皮層分層結構）。廣義濾波的特殊情況包括卡爾曼濾波，它在形式上等同于預測編碼[31]——一種在大腦中傳遞信息的流行比喻。在分層模型下，預測編碼涉及上升（自下而上）預測錯誤和下降（自上而下）預測 [32] 的反復交換，這與感覺 [33] 和運動系統(tǒng)的解剖學和生理學一致。 [34]

4.2 感性學習與記憶

????????在預測編碼中，通過對自由能（自由作用）的時間積分進行梯度下降來優(yōu)化模型參數(shù)會降低關聯(lián)或赫布可塑性，并且與大腦中的突觸可塑性有關。

4.3 感知精確度、注意力和顯著性

????????優(yōu)化精度參數(shù)對應于優(yōu)化預測誤差的增益（參見卡爾曼增益）。在預測編碼的神經(jīng)元似是而非的實現(xiàn)中，[32] 這對應于優(yōu)化淺層錐體細胞的興奮性，并已被解釋為注意力增益。 [35]

????????間交互的循環(huán)性質。作者使用已建立的緊急注意模型 SAIM，提出了一種稱為 PE-SAIM 的模型，與標準版本相比，它從自上而下的立場接近選擇性注意。該模型考慮了發(fā)送到相同級別或更高級別的轉發(fā)預測誤差，以最小化指示數(shù)據(jù)與其原因之間的差異的能量函數(shù)，或者換句話說，生成模型和后驗之間的差異。為了提高有效性，他們還在模型中加入了刺激之間的神經(jīng)競爭。該模型的一個顯著特點是僅根據(jù)任務執(zhí)行期間的預測誤差重新制定自由能函數(shù)：

? ? ? ??

?????????其中 是神經(jīng)網(wǎng)絡的總能量函數(shù)，而 是生成模型（先驗）和后驗隨時間變化的預測誤差。 [36]比較這兩個模型揭示了它們各自結果之間的顯著相似性，同時也突出了顯著的差異，其中 - 在 SAIM 的標準版本中 - 模型的重點主要是興奮性連接，而在 PE-SAIM 中，抑制性連接是用來做推理。該模型還被證明適合以高精度預測從人體實驗中提取的 EEG 和 fMRI 數(shù)據(jù)。同樣，Yahya 等人。還應用自由能原理提出了一個主要依賴于 SAIM 的隱性選擇性視覺注意中的模板匹配計算模型。 [37]根據(jù)這項研究，通過在原始神經(jīng)網(wǎng)絡中插入自上而下的信號來達到整個狀態(tài)空間的總自由能，由此我們推導出一個包含前饋和后向預測誤差的動力系統(tǒng)。

五、關于主動推理

????????當梯度下降應用于動作 ，運動控制可以通過下行（皮質脊髓）預測參與的經(jīng)典反射弧來理解。這提供了一種形式主義，可以將平衡點解——自由度問題[38]——推廣到運動軌跡。

5.1 主動推理和優(yōu)化控制

????????主動推理通過用關于狀態(tài)轉換或流的先驗信念替換價值或成本函數(shù)來實現(xiàn)最優(yōu)控制。 [39]這利用了貝葉斯濾波與貝爾曼方程的解之間的密切聯(lián)系。然而，主動推理開始于（先驗）流 用標量 和向量??狀態(tài)空間的值函數(shù)（參見 Helmholtz 分解）。這里，是隨機波動的幅度，成本是 ?先驗溢出 ??誘導先驗狀態(tài) 即適當?shù)那跋?Kolmogorov 方程的解。 [40]相比之下，最優(yōu)控制在給定成本函數(shù)的情況下優(yōu)化流，假設?（即，流沒有卷曲或具有詳細的平衡）。通常，這需要求解逆向 Kolmogorov 方程。 [41]

5.2?主動推理和最優(yōu)決策（博弈）理論

????????通過將效用函數(shù)吸收到先驗信念中，在主動推理中處理最優(yōu)決策問題（通常表述為部分可觀察的馬爾可夫決策過程）。在這種情況下，具有高效用（低成本）的狀態(tài)是代理希望占用的狀態(tài)。通過為生成模型配備模擬控制的隱藏狀態(tài)，最小化自由能變化的策略（控制序列）會導致高效用狀態(tài)。 [42] 在神經(jīng)生物學上，多巴胺等神經(jīng)調(diào)節(jié)劑被認為通過調(diào)節(jié)編碼預測誤差的主細胞的增益來報告預測誤差的精度。 [43]這與多巴胺在報告預測錯誤本身 [44] 和相關計算帳戶中的作用密切相關，但在形式上有所不同。 [45]

5.3主動推理和認知神經(jīng)科學

????????主動推理已被用于解決認知神經(jīng)科學、腦功能和神經(jīng)精神病學中的一系列問題，包括動作觀察、[46] 鏡像神經(jīng)元、[47] 掃視和視覺搜索、[48][49] 眼球運動、[50]睡眠、[51] 幻覺、[52] 注意力、[35] 動作選擇、[43] 意識、[53] [54] 歇斯底里癥 [55] 和精神病。 [56]主動推理中對動作的解釋通常取決于大腦具有無法更新的“頑固預測”的想法，從而導致導致這些預測成真的動作。 [57]

5.4 主動推理和組織實踐

????????主動推理已被應用于分析使用新技術的組織中的手工和工業(yè)精神運動工作。 [58][59][60]更廣泛地說，有人認為主動推理是整個組織生命周期（包括營銷、工業(yè)工程和質量管理）工作實踐的基礎。 [61]此外，現(xiàn)代組織實踐的外部性已經(jīng)在多尺度自由能和主動推理方面進行了分析。 [62]此外，主動推理已與其他框架相結合，例如自適應校準模型 [63] 和系統(tǒng)工程 [64]，以應對組織實踐中的挑戰(zhàn)。有人認為，與理論神經(jīng)生物學的專業(yè)術語和數(shù)學相比，對組織實踐日常經(jīng)驗的個人反思可能為理解主動推理提供更好的起點。 [65]

總結

以上是生活随笔為你收集整理的人工智能：自由能理论，AI未来的数学模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。