學(xué)習(xí)筆記

學(xué)習(xí)書目：《復(fù)雜》- 梅拉妮·米歇爾

---

文章目錄

• • • 信息
    • • 熱、能量、熵
      • 統(tǒng)計力學(xué)
      • 微觀態(tài)與宏觀態(tài)
      • 香農(nóng)信息

---

信息

我認(rèn)為，熵增定律—熱力學(xué)第二定律—在自然界的定律中具有至高無上的地位……如果你的理論被發(fā)現(xiàn)違背了熱力學(xué)第二定律，你就一點希望都沒有，結(jié)局必然是徹底崩塌。 ——愛丁頓爵士

之前的Blog我們提到蟻群搭橋、相互維系的金融市場、干細(xì)胞發(fā)育成特定器官，這些都是自組織的例子。與通常情形中的有序消退無序增長相反，這里是有序從無序中產(chǎn)生的。

復(fù)雜系統(tǒng)科學(xué)最關(guān)注的問題就是這種逆熵的自組織系統(tǒng)。

不過，在研究自組織系統(tǒng)之前，我們先聊一聊，啥是有序和無序?

許多復(fù)雜系統(tǒng)學(xué)家用信息的概念來度量有序和無序、復(fù)雜性和簡單性。免疫學(xué)家科恩曾說，復(fù)雜系統(tǒng)比簡單系統(tǒng)更能接收、存儲和利用信息。經(jīng)濟(jì)學(xué)家哈克寫道，進(jìn)化不僅只會用DNA耍把戲，對所有能處理和存儲信息的系統(tǒng)也可以。

但是，信息到底是啥呢?

專業(yè)點說，信息描述了一大類現(xiàn)象，從在萬維網(wǎng)上通過光纖傳送的信號，到大腦中在神經(jīng)元之間傳遞的微小分子。復(fù)雜系統(tǒng)子無一例外都涉及以各種形式交流和處理信息。

熱、能量、熵

對于信息的科學(xué)研究始自熱力學(xué)，熱力學(xué)描述能量以及其與物質(zhì)的相互作用。能量大致上可以定義為系統(tǒng)做功的潛力。

打個比方，假設(shè)我們的車在路上拋錨了，我把車推到最近的加油站。用物理學(xué)的話講，我做的功等于我推車的力的大小乘以到加油站的距離。在推車的過程中，我體內(nèi)儲存的能量轉(zhuǎn)化成了車的動能，而轉(zhuǎn)化的能量就等于所做的功加上輪子與地面摩擦消耗的熱量以及我自己體溫升高所耗費的熱量。

這個熱量損失可以用熵度量。熵是對不能轉(zhuǎn)化成功的能量的度量。熵一詞源自另一個古希臘詞匯trope, 意思是轉(zhuǎn)化。

在19世紀(jì)末，有兩條關(guān)于能量的定律(熱力學(xué)定律)被發(fā)現(xiàn)了,這些定律所針對的是封閉系統(tǒng)(這種系統(tǒng)沒有與外界的能量交換).

第一定律：能量守恒。宇宙中的總能量守恒。能量可以從一種形式轉(zhuǎn)化成另一種形式，比如從體內(nèi)儲存的能量轉(zhuǎn)化成推車的動能加上消耗的熱能。但是能量既不能被創(chuàng)生也不能被消滅。

第二定律：熵總是不斷增加直至最大。系統(tǒng)總的熵會不斷增加，直至可能的最大值；除非通過外部做 功，否則它自身永遠(yuǎn)也不會減少。

我們可能會注意到，房間不會自己變干凈，飲料如果潑到地上，永遠(yuǎn)也不會回到杯子里。要想將無序變成 有序，就得額外做功。

熱力學(xué)第二定律被認(rèn)為是定義了“時間之箭”，因為它證明了存在時間上不可逆的過程, 未來可以定義為熵增的時間方向。有趣的是，熱力學(xué)第二定律是唯一區(qū)分過去和未來的基本物理定律。其他物理定律在時間上都是可逆的。

為什么第二定律會與眾不同呢？

這個問題很深奧。就像物理學(xué)家羅斯曼所指出的那樣，為什么第二定律能區(qū)分過去和現(xiàn)在， 而其他自然定律卻不能？這也許是物理學(xué)中最大的謎團(tuán)。

西拉德是第一個將熵與信息聯(lián)系起來的人，這個關(guān)聯(lián)后來成了信息論的基礎(chǔ)和復(fù)雜系統(tǒng)的關(guān)鍵思想。西拉德認(rèn)為記錄和觀察信息的測量行為需要能量，因此必然會產(chǎn)生一定的熵。

然而50年后，數(shù)學(xué)家班尼特證明，從理論上來說上可以進(jìn)行任何計算而不用耗費，也就是說測量可以不耗費能量。他還提到了物理學(xué)家蘭道在20世紀(jì)60年代做出的一項發(fā)現(xiàn)：并不是測量行為，而是擦除記憶的行為，必然會增加熵。擦除記憶是不可逆的，如果被擦除了，那么一 旦信息沒有了，不進(jìn)行額外的測量就無法恢復(fù)。

統(tǒng)計力學(xué)

在前面我將熵定義為，對無法做功而只能轉(zhuǎn)換成熱的能量的測量。這個熵的概念最初是有克勞休斯于1865年定義的。

數(shù)十年后，科學(xué)界開始出現(xiàn)一種新的關(guān)于熱的觀念：系統(tǒng)是由分子組成，而熱則是分子運動(或者說動能)的產(chǎn)物。這種新觀念主要歸功于玻爾茲曼 ，他創(chuàng)建了一門新學(xué)科，現(xiàn)在被稱為統(tǒng)計力學(xué)。

統(tǒng)計力學(xué)認(rèn)為宏觀尺度上的屬性(例如熱)是由微觀屬性產(chǎn)生的(例如無數(shù)分子的運動).

想象一下我們房間里充滿運動的空氣分子。經(jīng)典力學(xué)分析是確定每個分子的位置和速度，以及作用在分子上的力，并根據(jù)這些確定每個分子未來的位置和速度。而統(tǒng)計力學(xué)的方法則不關(guān)心各個分子具體的位置、速度以及未來的變化，而是去預(yù)測大量分子整體上的平均位置和速度。

微觀態(tài)與宏觀態(tài)

經(jīng)典力學(xué)試圖用牛頓定律分析所有的單個微觀對象，而熱力學(xué)則只給出了宏觀 現(xiàn)象(熱、能量和熵)的定律，沒有說明微觀分子是這些宏觀現(xiàn)象的源頭。統(tǒng)計力學(xué)則在兩個極端之間搭建了一座橋梁，解釋了宏觀現(xiàn)象是如何從對大量微觀對象的整體上的統(tǒng)計產(chǎn)生。

在充滿空氣的房間中，在任意時刻每個分子都有特定的位置和速度，只是無法具體測量。在統(tǒng)計力學(xué)的術(shù)語中，特定分子集合在某一時刻的位置和速度稱為那個時刻的微觀狀態(tài)。對于充滿了隨機(jī)飛舞的分子的房間，最可能的微觀狀態(tài)類型就是空氣分子均勻地充滿整個房間。而最不可能的微觀狀態(tài)就是空氣分子緊緊地聚到一個地方。這看上去顯而易見，但是玻爾茲曼注意到這是因為分子均勻分布的微觀狀態(tài)比聚到一起的微觀狀態(tài)要多得多。

系統(tǒng)的宏觀狀態(tài)就是微觀狀態(tài)的類型，例如房間里分子聚集到一起(我們窒息)相對分子均勻分布(我們能呼吸，)一個宏觀狀態(tài)能對應(yīng)許多不同的微觀狀態(tài)。溫度也是宏觀狀態(tài)，它與許多不同的微觀狀態(tài)相對應(yīng)，各微觀狀態(tài)的分子平均速度恰好對應(yīng)相同的溫度。

玻爾茲曼將熱力學(xué)第二定律解釋為封閉系統(tǒng)更有可能處于可能性大的宏觀狀態(tài)。玻爾茲曼將宏觀狀態(tài)的熵定義為其對應(yīng)的微觀狀態(tài)的數(shù)量。

以老|虎|機(jī)為例，我們都知道老|虎|機(jī)中有很多圖片，如果我們轉(zhuǎn)老|虎|機(jī)得到的圖片沒有不同，則我們賺錢，如果圖片存在不同，則我們輸錢。現(xiàn)在假設(shè)我們的老|虎|機(jī)中有下面5張圖片，“櫻桃”、“蘋果”、“梨子”、“檸檬”、“橙子”。這樣就總共有125種可能的組合(微觀狀態(tài))，其中有5種對應(yīng)于所有圖片都相同(我們贏)的宏觀狀態(tài)，120種對應(yīng)于圖片不完全相同(我們輸)的宏觀狀態(tài)。后一種宏觀狀態(tài)的玻爾茲曼熵明顯高于前一種。

玻爾茲曼熵遵守?zé)崃W(xué)第二定律。除非做功，否則玻爾茲曼熵會一直增加，直到到達(dá)最大可能熵的宏觀狀態(tài)。

香農(nóng)信息

香農(nóng)的信息定義中有一個發(fā)送者向接收者發(fā)送信息，發(fā)送者說的每個詞都是香農(nóng)意義上的信息，電話并不理解所說的詞，而只是傳送編碼聲音的電脈沖，香農(nóng)對信息的定義中完全忽略信息的意義，而只考慮發(fā)送者向接收者發(fā)送信息的速度。與玻爾茲曼的思想類似，香農(nóng)將宏觀狀態(tài)（這里是發(fā)送者）的信息定義為可以由發(fā)送者發(fā)送的可能微觀狀態(tài)（可能信息的集合）的數(shù)量的函數(shù)。

人們有時候?qū)⑾戕r(nóng)的信息量定義描述為接收者在接收信息時體驗到的平均驚奇度，其中驚奇意指接收者對于發(fā)送源將要傳送的信息的不確定度。

總體上，根據(jù)香農(nóng)的理論，信息可以是通信的任何單位，可以是一個字母、一個詞、一句話，甚至是一個比特(0 或1)。發(fā)送源的熵(信息量)用信息的可能性定義，而與信息的意義無關(guān)。

總結(jié)

以上是生活随笔為你收集整理的《复杂》读书笔记(part3)--熵的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。