1. 為什么要研究隨機過程？

人類認識世界的歷史，就是一認識和描繪各種運動的歷史，從宏觀的天體運動到分子的運動，到人心理的運動-我們通稱為變化，就是一個東西隨時間的改變。

人們最成功的描繪運動的模型是牛頓的天體運動，確定性是牛頓體系最大的特征。給定位置和速度，運動軌跡即確定。但是20實際后的科學卻失去了牛頓美麗的確定性光環。

因為當人們試圖描繪一些真實世界，充滿復雜而未知因素的運動時候，人們發現不確定的因素（通常稱之為噪音）對事物的變化至關重要，而牛頓的方法幾乎難以應用。而我們所能夠給出的最好的對事物變化的東西，是一套叫概率論的東西。而與之相應的產生的一個全新的研究運動的方法-隨機過程, 對不確定性下的運動進行精細的數學描述。

我們周邊充滿了各種各樣的數據，所謂大數據時代，這些數據最基本的特點就是含有巨量的噪音， 而隨機過程就是從這些噪音里提取信息的武器。

• 其實我們生活中也處處充滿“噪音”。比如說我們每天發郵件，經常有一些人時回時不回。那些不回的人到底是忘了還是真的不想回，我們卻不知道。一個書呆子統計學家會告訴你，你無法從一次的行為評判他，而要看他一貫的表現。

第一個隨機過程方法的偉大勝利是愛因斯坦的布朗運動。一些小花粉在水里，受到水分子不停碰撞，而呈現隨機的運動（花粉顆粒由于很小比較容易受到水分子熱擾動的影響） 。 研究這些花粉的微小運動似乎有點天然呆，我們卻從中找到了分子世界重要的信息。而花粉那無序與多變的軌道，也為我們提供了隨機運動的范式（隨機游走）。

圖： 計算機生成的十個粒子的布朗運動軌跡

如果給隨機過程打個比方，它就像是一個充滿交叉小徑的花園。你站在現在的點上，看未來的變化，未來有千萬種變化的方式， 每一種可能又不斷分叉變化出其它可能。

In probability theory and related fields, a stochastic or random process is a mathematical object usually defined as a family of random variables. Stochastic processes are widely used as mathematical models of systems and phenomena that appear to vary in a random manner.

Examples include the growth of a bacterial population, an electrical current fluctuating due to thermal noise, or the movement of a gas molecule.
Stochastic processes have applications in many disciplines such as biology, chemistry, ecology, neuroscience, physics, image processing, signal processing, control theory, information theory, computer science, cryptography and telecommunications. Furthermore, seemingly random changes in financial markets have motivated the extensive use of stochastic processes in finance.

Applications and the study of phenomena have in turn inspired the proposal of new stochastic processes. Examples of such stochastic processes include the Wiener process or Brownian motion process, used by Louis Bachelier to study price changes on the Paris Bourse, and the Poisson process, used by A. K. Erlang to study the number of phone calls occurring in a certain period of time. These two stochastic processes are considered the most important and central in the theory of stochastic processes, and were discovered repeatedly and independently, both before and after Bachelier and Erlang, in different settings and countries.

The term random function is also used to refer to a stochastic or random process, because a stochastic process can also be interpreted as a random element in a function space. The terms stochastic process and random process are used interchangeably, often with no specific mathematical space for the set that indexes the random variables. But often these two terms are used when the random variables are indexed by the integers or an interval of the real line. If the random variables are indexed by the Cartesian plane or some higher-dimensional Euclidean space, then the collection of random variables is usually called a random field instead. The values of a stochastic process are not always numbers and can be vectors or other mathematical objects.

Based on their mathematical properties, stochastic processes can be grouped into various categories, which include random walks, martingales, Markov processes, Lévy processes, Gaussian processes, random fields, renewal processes, and branching processes. The study of stochastic processes uses mathematical knowledge and techniques from probability, calculus, linear algebra, set theory, and topology as well as branches of mathematical analysis such as real analysis, measure theory, Fourier analysis, and functional analysis. The theory of stochastic processes is considered to be an important contribution to mathematics and it continues to be an active topic of research for both theoretical reasons and applications.

2. 描述隨機過程的武器

2.1 概率空間：

面對不可確定的未來，無非有兩件事需要關心，一個是有哪些可以實現的可能，一個是每種可能的大小， 前者定義一個事件空間（態空間）， 后者定義一個數-概率。

關鍵這些信息從哪里來呢？ 我們如何知道要發生什么？ 又如何知道多多大可能發生？ – 歷史。

概率論的思維基點其實是: 日光之下并無新事。

我們對未來的預測來源于對過于的經驗積累， 而溝通過去經驗與未來預測的工具就是概率。所謂一件事發生可能性大小，就是一件事在歷史中發生的頻率。

當然很多情況下概率也可以通過已知理論用演繹法推得，但是最根本的，還是由經驗確定的概率。

概率，我們中學數學都學過它是一個事件出現的頻率，但它的含義其實很深很深。因為一個事件出現的頻率來自于歷史，而概率卻用于對未來的預測，因此，概率包含的一個基本假設就是未來和過去的一致性-你要用概率，你所研究的對象要有可重復性。這其實假設了概率所研究的事件具有的某種穩定性，一旦這些一個過程是一個隨時間劇烈變化的過程，概率幾乎就不能應用。所以這里只能說概率是一種近似，他對于研究那些比較簡單的物理過程，如投擲硬幣，才完全有效。

所以， 所謂概率空間，只能是一種近似，他是人類現有知識的總和， 我們用它描述已知的未知， 但是卻從來無法描述未知的未知-被我們稱作黑天鵝的事件，因為真正的未來，永遠無法只有已知的可能性（感興趣的請參看本人舊文-高斯與天鵝）。在大多數時候，我們還是日光之下并無新事，因此，概論的威力依然不可小覷。

有關概率空間的思維，可以立刻滅掉一些看似燒腦實際腦殘的題目：

假設你在進行一個游戲節目。現給三扇門供你選擇：一扇門后面是一輛轎車，另兩扇門后面什么都沒有。你的目的當然是要想得到比較值錢的轎車，但你卻并不能看到門后面的真實情況。主持人先讓你作第一次選擇。在你選擇了一扇門后， 知道其余兩扇門后面是什么的主持人，打開了另一扇門給你看，而且，當然，那里什么都沒有。現在主持人告訴你，你還有一次選擇的機會。那么，請你考慮一下，你是堅持第一次的選擇不變，還是改變第一次的選擇，更有可能得到轎車？

回答這個問題的關鍵即事件空間，在主持人打開門之前，事件空間即車的位置有三種可能，你有1/3 的可能拿到車。當主持人選擇打開門的時候， 它實際上幫你做了一個選擇，那就是告你某個車庫沒有車，這時候事件空間發生了變化，因為你的已知變了。如果說以前的事件空間是或者你選擇的車庫有車（1/3）， 或者另外兩個車庫中的某一個有車(各1/3)。現在的情況呢？被打開的車庫有車的概率變為0， 因此你選擇的車庫沒車的情況下車的位置已經變成確定的了，概率為2/3。而原來你車庫有車的選項卻不受到這一事件的影響（依然1/3概率）， 所以你當然要選擇換車庫。

這個例子第一個說明的道理是概率是主觀的，來自于你頭腦中的信息。

回過頭看， 主持人的舉動增加了你對兩個車庫的信息， 而車是不變的，所以你要根據新的信息調整概率空間。

• 此實例是好的思維方法的力量的典范，如果你沒有這個事件空間的角度， 恐怕要做無數的試驗了。

條件概率： 現實生活中的一般都以條件概率的形式出現，即給定一定的已知條件，信息我們會得到什么樣的概率。對這一大類問題可以引出整個貝葉斯分析理論，將在后續篇章中介紹。

2.2 隨機變量 ：

你投擲篩子，得到6個結果，每種結果有1/6 的可能。你把態空間的種種可能性都用數字表達出來，用一套用輕度裝逼的數學語言描述， 就是隨機變量。 這個東西包含所有輸出的可能性以及相應的概率，這些可能性（態空間）和概率的對應關系我們稱之為分布函數。如果態空間是連續的，我們就得到連續的分布函數形式。

圖： 一個二維高斯分布

分布函數：
隨機變量已經包含了兩個隨機過程研究的核心武器：態空間和分布函數。分布函數是提取隨機過程內有用信息的第一手段。分布函數-是在大量數據中提取信息的入口。

隨機變量的實現：隨機變量可以看做一個實驗，你在實驗之前，結果是不確定的，你所有的是一團可能性。 當你做完實驗，卻得到一個唯一的結果，只是預先不可知。

期望： 對一個隨機變量，已知其分布函數，可以定義一個期望。這個東西由每個結果的取值和它的可能性共同決定，表達未來結果的加權平均值。

實際中我們可以用實驗的方法確定這個數字，就是所謂蒙特卡洛方法，不停的投篩子然后做個統計，你所得到的結果的平均就是期望。（平均值和期望的區別就是第一個來自已有的數據的平均，第二是對根據已有的平均對未來的預測。）

關于期望包含著一種投資世界里的基本思維方式，就是對收益的幅值和風險（概率）一起考慮。經常有一些時候一些出現機會極少而收益特別大的可能性決定了期望，如果你的心臟足夠強大，就應該充分考慮這些高風險高收益的可能。

相關性： 對于兩個隨機變量，你可以定義一個相關性covariance，描述一個隨機變量隨另一個而變化的趨勢。這個函數特別有用，它是現實生活中我們說兩個事物相關性的精確表達。

理解這個算式特別簡單，這個量就是x和y波動乘積的期望，當兩個變量是此消彼長，則為負，共生共榮則為正，若兩個過程不相關，則為0.

方差： 上述關系當x=y我們得到方差，方差就是自己和自己的關聯函數，當隨機變量比較接近正態分布時候它可以描繪波動性的大小。

對于N個隨機變量，任意兩個隨機變量可得到一個covariance，而這樣一組covariance構成大名鼎鼎的covariance matrix.

測量分布函數的武器-蒙特卡洛方法：

搞定一個分布函數，笨辦法也是最有用的方法就是蒙特卡洛方法。 一般篩子情況下，篩子有6各面， 每個面出現的概率有1/6，但是萬一篩子被做過手腳呢？ 所以最好的方法還是所謂蒙特卡洛抽樣，不停的玩，知道你認為你可以穩定得到每次可能性出現的頻率。 所謂笨辦法確是最常用的，尤其是隨著高速計算機的普及。一些重大的工程， 涉及太多復雜不好確定因素時候，我們就讓計算機模擬，設計一系列的蒙特卡洛抽樣來求得一些結果。

• 此名來自Monte Carlo 摩納哥的賭場， 其實賭場里也可以產生一些最厲害的數學思想。

抽樣：在計算機里研究牽扯隨機變量的過程最基本的方法就是抽樣，抽樣就是已知分布函數取得一個隨機的結果的過程。我們要在計算機里模擬一個隨機過程都是通過抽樣來實現的。抽樣的成功與否決定這些計算機模擬（simulation）能在多少程度逼近真實。計算機的抽樣都是基于最簡單的隨機數生成器產生的，產生概率均等的均與分布（Uniform distribution）。但是這些“隨機數”實際是早已設定好的，因此更準備的被稱作“偽隨機數”。而對于更加復雜的分布函數的抽樣， 則有如層出不窮的算法解決它，比如大名鼎鼎的Markov Chain Monte Carlo （MCMC）方法，將在之后的章節介紹。

3. 什么是隨機過程

確定性過程研究一個量隨時間確定的變化，而隨機過程描述的是一個量隨時間可能的變化，在這個過程里，每一個時刻變化的方向都是不確定的，或者說隨機過程就是由一系列隨機變量組成，每一個時刻系統的狀態都由一個隨機變量表述，而整個過程則構成態空間的一個軌跡（隨機過程的實現）。

一個隨機過程最終實現，會得到一組隨時間變化的數值（態空間里的軌跡），實踐中我們都是從數據結果中推測一個隨機過程的性質的。

剛說過概率是建立在可重復性上，是一個理想模型，而建立在此上的隨機過程就更是一個理想化的模型，它暗含的是歷史可無限重復，然后你把他們收集在一起看一看。我在一開頭的說的充滿分叉小徑的花園是一種比喻，但說的也是你需要站在平時時空（每一個時空包含一種歷史的可能性）的角度來看一個隨機過程的全貌。

我們立刻發現這是一個超級復雜的問題，因為一個隨機過程具有無限多可能性。試想象一個最簡單的隨機過程，這個過程由N步組成，每一步都有兩個選擇（0，1），那么可能的路徑就有2的N次方個，這個隨機過程就要由2^N-1個概率來描述(概率只和為一減掉一個維度)，用數學物理的語言就是極高維度的問題。

• 離散的時間序列是清晰表述隨機過程的入門方式，雖然更一般的表述是時間是連續的

因此，能否研究一個隨機過程的關鍵就是減少問題的維度-這也是物理的核心思想。

一下講一下達到這個目的發明的神器：

3.1 馬爾科夫過程(Markov Processes)

馬爾科夫過程，是隨機過程中的精華部分，其地位猶如牛頓定律在力學的地位。

對于最一般的隨機過程，是無限復雜的，幸好，在我們日常生活中，很多隨機過程符合或近似更簡單的模型。其中目前一種最有效的框架成為馬爾科夫過程. 所謂馬爾科夫過程，即隨機過程的每一步的結果最多只與上一步有關，而與其它無關。 好比你不停撒篩子，你每一次的結果不會影響未來的成績。

3.2 馬爾可夫鏈(Markov chain)：

makov過程用數學語言表述就是馬爾科夫鏈，就像一臺熊熊駛過的火車，前一個車廂（上一步）拉著后一個（下一步），向前運行。

如果一個過程是markov過程，這個過程就得到了神簡化，你只需要知道第n步是如何與第n-1步相關的，一般由一組條件概率表述，就可以求得整個過程。一個巨大的隨機過程，其內核僅僅是這樣一組條件概率，而知道了這組條件概率，就可以衍生整個過程。

圖： 一個典型的markov過程， 每一個的結果只與上一步相關，我們只需要一組條件概率（箭頭）來描述，每個條件概率告你如果態空間中的某一個事件發生，那么從這一點出發， 下一個事件發生的概率。

**我們不妨多想一下，如果第n步和第n-1步的關系不是隨機的，而是確定的，那我們得到了什么？**我們聯想到牛頓力學，牛頓力學也是此刻的狀態決定下一刻的變化，其本質也是鏈式法則，通過此刻與此刻最鄰近的未來的關系，衍生出整個宇宙的過去和未來， 其靈魂同樣是降維。或者說markov就是隨機過程里的牛頓法則。

Markov是不是真的是一個歷史無關的過程？ No！ 雖然第N+1步只與第N步有關，但是第N步又包含第N-1步，所以通過鏈式法則，歷史的信息還是可以傳遞到現在的。

經典表述：

馬爾科夫鏈的核心條件概率表達式就是這臺火車鏈接不同車廂的鏈條。 如果這個條件概率關系不隨時間變化，我們就得到經典的穩態馬爾科夫鏈。它有一個良好的性質，就是當這個過程啟動一段時間就會進入統計穩態，穩態的分布函數與歷史路徑無關。

一個簡單的例子： 關于生育偏好是否影響男女比例的問題。

我們知道過去的人喜歡生男孩，往往生女孩子就不停生，直到生到一個男生為止，因此就造成很多一大堆姐姐只有一個弟弟的家庭。我接觸過的一些特別聰明的人都會認為這樣的行為會影響男女比例。大部分人覺得會造成女孩比例多，少數人認為會增加男孩比例。 實際呢？

一言以蔽之： 不變。 為什么？ 生育問題是典型的穩態馬爾科夫過程，下一次生育不受上一次生育的影響。 根據馬氏過程的特性，你知道歷史無需考慮歷史路徑， 最終的平衡概率只取決于每一步的概率。所以無論你怎么玩，不論是你拼命想生男孩還是女孩，都無法影響人口比例。

但是有一招卻是有影響的，就是打胎。 為什么？ 答案依然很簡單，你改變了每一步的概率。

這就是馬爾科夫過程的威力和魅力，可惜人生卻不是馬爾科夫過程， 因為每一步都高度依賴于過去n步，因此人生是高度歷史路徑依賴的。

當一個隨機過程的變化只取決于當下的變化而非歷史的時候，我們得到一個馬爾科夫鏈條。它的優良性質使得巨大的計算瞬時簡化。

進一步降維：

markov鏈的思維用一組前一步和后一步的條件概率關系衍生整個過程，具有巨大的簡化威力。對于更加特殊的問題，維度還可以繼續降低，問題得意更徹底的簡化。 例如：

3.3 穩態過程-stationary process ：

如果說markov過程每一步與前一步的關系是與時間無關的，或符合

這個過程就是穩態的，這個時候我們只需要這樣一個關系就描述整個過程。

在這個極度簡化的模型下，markov process 可歸結為一個在態空間里的躍遷軌跡。下圖的隨機變量是橫軸（a，b，c，d四個態），時間是縱軸。系統從此刻的態躍遷到下一刻的態都是隨機的，而且躍遷的概率由一個數字決定，這個數字不由軌跡的歷史決定，因而markov。從此刻任一狀態到達下一刻任意狀態包含4x4個概率，因此可以寫作一個4x4的躍遷矩陣。躍遷矩陣$P_{ij}$涵蓋了過程的全部信息。

穩態過程顧名穩態， 是因為在一段時間后系統會進入一個平衡狀態，或者說系統的分布函數不隨時間變化。 如同上文提到的人口中男女比例問題， 男女比例在各個國家都在1：1 左右， 就是因為生成它的過程是一個穩態過程。

穩態過程含有兩個個重要的特征量： 平均值和自相關函數（Auto-correlation），穩態（stationary）的含義正是在平均值附近擾動，在這個情況下隨機性換以另外一個名詞-fluctuation（擾動）。 而在非穩態下，擾動和平均值的概念變得模糊，失去意義。

平均值自然重要，但擾動卻往往包含著平均值所沒有的信息。 首先我們計算方差，來看擾動的劇烈程度，但是這遠遠不夠。

Auro-correlation和之前描述的相關性具有內在的聯系，事實上它描述的就是此時的擾動和彼時的擾動的相關性。

這個量可以理解為你手里有一個信號，首先你減去平均值，這樣信號就在0附近擾動。 你把這個信號平行移動一個時間差， 然后把它和原來的信號乘起來，如果說信號本身代表的過程在時間上胡亂跳躍無跡可尋， 那么這個量就很接近0），因為正和負的部分無序的乘起來，正負互相抵消，你的期望就是0。反之，如果你的信號內包含內在的構造（pattern），就會得到不為0的值。

因此，日常生活中你手里具有的往往是數據，你什么都不知道的時候，計算這個量就是起點，這個東西在幫你尋找無序中的結構（pattern），它將告訴我們系統噪音的性質。

比如我們經常說的白色噪聲（white noise）的定義就是自關聯性為0， 因為它要的是絕對的無序， 毫無記憶，毫無結構。這種信號就是最基本的噪聲形態。

而如果我們發現一個隨時間差變化很慢的自相關函數，往往顯示系統具有記憶的特性，因而產生了更復雜的結構， 或者系統臨近相變。

自相關性的計算告訴我們的是， 你不要只看表面的無序有序，因為人眼喜歡在無序中尋找有序，而一個有力的計算就可以告訴你比你的眼睛更準確的信息。

3.4 master equation

剛才描述離散的markov過程，如果一個過程是連續的，不再分為第一步第二步第三步， 我們就可以用微分方程描述一個馬爾科夫過程。 這就是master equation - 所謂大師方程。 這是物理，化學，經濟學，得到一些給力結果經常用到的微分方程。

master equation直接關注的是隨機過程的全貌。剛才所說的躍遷軌跡是一次實驗的結果，而Master Equation 描述的卻是無數實驗者同時入場，進行馬爾科夫過程，你會看到一個新的圖像。系統每一個時刻的狀態不再是態空間一個具體的點，而是一大團點（一大叢實驗者），它們慢慢的在態空間里運動，我們可以統計站在不同的狀態上的實驗者個數，因而得到的是一個概率分布，正是之前說的分布函數的概念。 物理經常用概率云，概率波一類的詞描述這種情境。 其實都是在說我們不再用一個數字描述世界，比如速度，位置，而是這個值的分布函數。變化的不再是某個特定的值而是它的分布函數。

態空間的分布函數，又可稱作場。由此，場的物理學可以徐徐入場。

之前說的馬爾科夫過程的關鍵-聯系此刻與下一刻的條件概率，在這里以躍遷矩陣A表示。

剛才講到牛頓力學和馬爾科夫過程有著內在的聯系，Master equation就是隨機過程里的牛頓第二定律。這個方程對于解釋很多物理化學里的隨機過程有神一般的效力。他就是概率場的動力學方程。

A就是躍遷矩陣，而向量P即概率場，就是經過時間t，系統狀態的分布函數。該方程是概率會怎么變。

由此我們看到用Maser方程研究問題的好處，轉不確定為確定。當你站在縱覽所有可能性的制高點，把所有可能性看做高維空間的“概率場”。 不確定性的隨機游走變成了概率分布函數（概率場）的確定性演化。- 這也是為什么場物理在近代物理后成為主導，所研究對象多為隨機過程。

• 量子力學大名鼎鼎的薛定諤方程，其實說的也是這回事，我們無法同時確定電子的位置和動量，因為我們轉而求其概率分布函數， 得到一個類似Master equation的微分方程，只不過數學形式更復雜，但思維都是轉而研究概率的動力學。 這個方程卻干掉了一個物理史上的超級難題， 如果在考慮微觀世界的不可確定下預測它們的運動。

圖：薛定諤方程的形式和Master Equation 十分類似。只不過這里的用波函數而不用概率場，但兩者其實由一個簡單關系一一對應。

• 隨機事件的重要方程，無論是物理里的郎之萬方程，還是金融期權定價的方程，都直接與Master Equation 相關。

穩態解：master equation 指導系統演化，如果A（t）不含時間， 就得到剛才說的穩態過程，系統會演化成一個穩定狀態，即分布函數不再隨時間變化。A*P=0 我們通常稱為平衡態。

*熵：對應一個平衡態，我們可以定義系統的熵，或者說系統的不確定性，可能性的選項越多，可能性越均勻，這個值就越大。

3.5 經典的markov例子

3.5.1 Branching process：

分叉過程 ，一個祖先繁衍的后代， 會出現多少個家庭， 每個家庭人口是怎么分布的？

所有家族的演化，生物種群的繁殖，都可以用這個模型研究。一個個體可以繁殖出的子嗣數量是一個隨機變量，經過n代之后將形成一個由大小迥異的家族組成的群體。

如果對應為一個隨機過程：-每一代的人口數就是就是隨機變量，我們要研究的就是與這個隨機變量對應的分布函數。

這個過程具有的典型性質是迭代： 如果上一代的人口數Gn，下一代就是Gn+1=G（Gn），給定第n代的家族人口分布，那么下一代的家族人口分布只與上代有關。所以這個是典型的Markov process

這個問題可以推出一些有趣的問題， 比如人口中各大姓氏的比例。 一般情況下，各大姓氏的比例在各個種群中符合相同的統計規律（冪律），就是Branching Process 的結果。

3.5.2 Poisson Process：

高中黨皆知的隨機過程，比如一個小旅店里一晚上到來的客人數量隨時間的變化，或者光子槍噴出的光子數, 一個帖子兩分鐘內的訪問次數，都是再經典不過的例子了。

泊松分布由二項分布演化而來。二項分布十分好理解，給你n次機會拋硬幣，硬幣正面向上概率為p，那么n此拋出有k次朝上的概率有多少？ 這是一個經典的二項分布。當這里的概率p趨于0，而n趨于無窮，我們就得到一個泊松分布。泊松分布多用于連續時間上的問題， 如果概率在連續的時間上是均勻不變的（任意時候發生的概率為P），我們就有一個泊松過程。這也極好理解，只要你把時間切割成小段。 比如打開一個帖子的兩分鐘訪問者的概率分布問題，你把兩分鐘分成120秒， 每秒上有訪問者進入的概率是確定的，那么這無非就是投120次硬幣多少次向上的問題， 由于微小時間尺度上一件事情發生的概率通常很小，因此，泊松分布通常成立。

圖： 泊松分布的形式，x及事件發生的次數。

圖：泊松分布一般的形狀，三條曲線代表了平均值不同的三個泊松分布。
泊松過程，恐怕是最簡單的隨機過程，也是所有隨機過程的參考系-好比物理的慣性定律。我們研究一個隨機過程時候，第一個做的就是與泊松做比較。

為什么泊松是一切隨機過程的參考系？因為泊松是一個此時的變化和彼時毫無聯系的過程，或者說此刻和下一刻是完全獨立的，markov說的是與此時只允許與上一個時刻有聯系，而泊松就更近一步，把這種聯系也取消掉。

如果我們假定每件事件的發生都與其它時刻事件的發生無關，我們就可以試圖用泊松分布表述它。比如一個商店前臺顧客的光臨，一般情況下，每一個顧客的到來都與前一個顧客無關，因此一段時間內前臺顧客的數量符合泊松分布。

反過來，判斷一個隨機過程的前后事件是否獨立，也可以通過它是否符合泊松分布判別，如果你得到的統計分析偏離了泊松，通過是前后事件相關聯的標志。 事實上生活中的事情都偏離泊松，而是具有強大的關聯性。 比如你一周內收到的郵件，通過在周一早上爆發而來，而在周末減少到零。你在一段時間會不停叫桃花運，而后一段十分冷清等。 這些都告訴你要找找背后的原因。

3.5.3 Wiener Process:

Wiener Process， 其原型就是大名鼎鼎的布朗運動。這恐怕是在自然科學以及經濟金融里用的最廣泛的隨機過程。也是隨機過程的靈魂基礎。

關于Wiener Process， 最有趣的比喻是隨機游走的醉漢。醉漢在一條直線上移動，往左或往右的概率相等。醉漢走出去的距離與時間的關系，就是Winner Process。

圖：Wiener Process, 上上下下的隨機游走表現的美麗軌跡，也是眾多股市愛好者經常看到的形狀。

Wiener Process 所依賴的假設特別簡單： 醉漢走出的每一步的距離和上一步無關（依然在說馬氏性），而這一步走出的長度是由一個確定的高斯分布產生的隨機數。 如果這個高斯分布的期望為0，那么這個過程就是一個純粹的隨機游走，反之則是一個但有漂移（drift）的隨機游走。

股票和期貨等的價格規律，最基本的假設就是隨機游走，在此之上可以得到一些簡單的定價模型。 但是事實上， 這種規律只在短期內成立，一旦金融危機爆發， 模型就終止了。 而金融危機，依然是過程內部的長程關聯的表現。 因為市場的交易畢竟不是隨機的，股市的漲落引起人們心情和預期的變化，從而以正反饋的形式給股市，所謂漲則瘋買，低則瘋賣，這種關聯性打破了隨機游走的夢。

4. 隨機過程舉例

4.1 實例及理解

樣本空間與時間函數的對應

4.2 Examples and Classifications

time domatinprocess

Discrete time	Bernoulli process, Branching process, Chinese restaurant process, Galton–Watson process, Independent and identically distributed random variables, Markov chain, Moran process, Random walk (Loop-erased, Self-avoiding, Biased, Maximal entropy)
–	–
Continuous time	Additive process, Bessel process, Birth–death process (pure birth), Brownian motion (Bridge, Excursion, Fractional, Geometric, Meander), Cauchy process, Contact process, Continuous-time random walk, Cox process, Diffusion process, Empirical process, Feller process, Fleming–Viot process, Gamma process, Geometric process, Hawkes process, Hunt process, Interacting particle systems, It? diffusion, It? process, Jump diffusion, Jump process, Lévy process, Local time, Markov additive process, McKean–Vlasov process, Ornstein–Uhlenbeck process, Poisson process (Compound, Non-homogeneous), Schramm–Loewner evolution, Semimartingale, Sigma-martingale, Stable process, Superprocess, Telegraph process, Variance gamma process, Wiener process, Wiener sausage
–	–
Both	Branching process, Galves–L?cherbach model, Gaussian process, Hidden Markov model (HMM), Markov process, Martingale (Differences, Local, Sub-, Super-), Random dynamical system, Regenerative process, Renewal process, Stochastic chains with memory of variable length, White noise

5. 平穩性是什么

無論是嚴平穩還是(弱)平穩，實際上刻畫的都是時間序列的統計性質關于時間平移的不變性。嚴平穩要求比較嚴格，需要所有的統計性質(也就是其有限維分布函數族)都是關于時間平移不變的，而弱平穩只需要一階矩與二階矩(以及協方差)是時間平移不變的。

6. 為什么需要平穩的時間序列

因為我們研究時間序列很重要的一個應用（或者出發點），是希望通過時間序列的歷史數據來得到其未來的一些預測。換句話說，我們希望時間序列在歷史數據上的一些性質，在將來保持不變，這不就是時間平移的不變性么？反過來想，如果時間序列不是平穩的，由歷史數據得到的統計性質對未來毫無意義，那么研究時間序列還有什么意義呢？

6.1 從差分方程的角度分析

要從差分方程的角度來看，才能把系統均衡點、數據平穩性、單位根聯系起來。
平穩的本質是讓系統穩定，讓變量收斂。
從變量$X_t$的角度看，平穩性（stationarity）意味著$X_t$的條件概率分布要不隨時間變化，這樣才能用以前的值來預測未來的值；而任何對$X_t$的內生沖擊（shock）都只有暫時性的而非永久性的效應，因此，受到沖擊的$X_t$總會回歸到長期的均衡$X_t$^*。

差分方程的解$X_t^{?}$即是系統的均衡點（equilibrium point），滿足差分方程的穩定性條件$X_t$， 最終會收斂于$X_t^{?}$。

---

學過微分方程或者差分方程應該知道，有關[公式] 的方程的解由兩部分組成，分別是齊次解（homogeneous solution）和特解（particular solution）。
單位根（unit root）檢驗就是檢驗該差分方程的特征方程（characteristic equation）的各個特征根（characteristic root）是否小于1，即是否在單位圓（unit circle）內。另外，除非是AR模型，否則不能用OLS估計模型。估計ARIMA模型的方法主要是用MLE。EViews給出的估計ARIMA模型的方法：?For models without fractional differencing, you may choose between the default ML (maximum likelihood), GLS (generalized least squares), and CLS (conditional least squares) estimation.?For models with fractional differencing, you may choose between the default ML and GLS estimation (CLS is not available for ARFIMA models).

---

6.2 從遍歷性角度分析

其次，時間序列里面還有一個(與平穩性關系密切)很重要的概念：遍歷性。遍歷性對于時間序列的意義類似于大數定理對于一般隨機變量的意義。

For more information: https://chengfeng96.com/blog/2019/04/28/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE%E7%AC%94%E8%AE%B0/

鏈接：
https://zhuanlan.zhihu.com/p/21570899
https://www.zhihu.com/question/21982358
https://www.zhihu.com/question/21982358/answer/296210825
https://www.zhihu.com/question/21982358/answer/67289142

總結

以上是生活随笔為你收集整理的随机过程及其稳态stability的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。