martingale与Markov Process的关系
鞅過程與馬爾科夫過程是什么關系?
1.鞅代表的是公平游戲,馬爾可夫過程側重過程無記憶性
總而言之:鞅和馬爾可夫過程沒有包含的關系。因為鞅代表的是公平游戲,而馬爾可夫過程側重過程無記憶性。兩者沒有內在聯系。
注:本文將試圖從直觀上解釋,因此會略去一些過于嚴謹而不影響直觀理解的條件。
定義:
鞅(martingale):如果隨機過程X(t)滿足對任意的s<t,都滿足[公式],則稱為鞅。
直觀上而言,已知鞅過程在某一時刻的值時,其任意之后時刻的條件期望為這一時刻的值。從賭徒的角度來看,它是一個公平的游戲。
舉例而言,如果我們在玩搖骰子比大小的游戲,每一輪輸家要給贏家一元錢。假設游戲公平,在第十局結束后,你已經發現自己贏了4元,在十一局時,由于游戲的公平性,你有一半幾率贏一元,也有一半幾率輸一元。此時你在第十一局結束后收益的條件期望為4元。甚至,在第二十局時你收益的期望依然是4元。從第十局以后,無論局數為多少,你的條件期望都會等于在第十局的收益。此時你的收益就是一個鞅過程。
馬爾可夫過程(Markov Process):如果隨機過程X(n)滿足對任意時刻,給過去全部經歷的路程,其分布與給最近一點的位置相同,即[公式]。
直觀上而言,如果我要研究一個馬爾可夫過程未來的發展,你給我這個過程經歷的路程與給我你最后觀察到的點的位置是等價的,即擁有路程并不能帶來更多的信息。這或許有點難以理解,但如果你假設股票的價格是馬爾可夫過程,那么你做決策僅僅在乎此時的股票價格而不會在乎股票整體的走勢。這說明,馬爾可夫過程側重于過程的無記憶性。
舉例而言,小紅家住在10樓,她可以坐電梯或者走樓梯下樓。但是樓梯口某個位置特別暗,有可能會在那栽跟頭。如果我們假設這是個馬爾可夫過程,當我們觀察到小紅今天走樓梯下樓時,我們就會說小紅今天有幾率p在那邊摔倒,此時摔倒的幾率為一個常數。轉而言之,我們并不在乎小紅走過多少次樓梯口,我們假設她永遠不會從上次的摔倒中學習。也就是說,小紅在樓梯口摔了一次與摔了十次后,只要觀察到她走樓梯,她就有相同的機會在同樣的地方栽跟頭。
對于布朗運動而言,其既是鞅又是馬爾可夫過程。
由于布朗運動的增量獨立且均值為0的特性,(即[公式]與[公式]獨立且均值為0)。我們很容易證明布朗運動即是鞅又是馬爾可夫過程。但對于一般的情形,鞅與馬爾可夫過程并沒有更多相關性。究其原因,是因為兩者的側重點不同,鞅側重公平性,而馬爾可夫過程側重無記憶性。這兩者并無聯系。
兩者無包含關系舉例。
是馬爾可夫卻不是鞅的過程:帶飄移的布朗運動:[公式]。此時無記憶性并不違背,因為[公式]與[公式]都具有獨立增量,因此知道路徑并不會比知道最近的點要優越。但是這個過程卻不是鞅,因為它并不公平。由于飄移項的引入,其均值會一直增大,在賭博中,如果你的期望收益一直變大,那這個游戲一定不會是公平的。因此,這個過程是馬爾可夫卻不是鞅。
是鞅卻不是馬爾可夫的過程:過程相關的Ito積分:[公式]。此時[公式]在t時刻的增量會是與過去所有路徑[公式]的積分相關的隨機變量。此時僅僅知道最近一點的觀察值不足以給出很好的預測,我們需要知道全部的路程。但這個過程卻會是鞅,因為每一個增量都可以表示成路徑和布朗運動增量的和,而布朗運動均值為零,故其增量會為零,不違背鞅的性質。因此,這個過程是鞅而不是馬爾可夫。
2. 直觀理解
Martingale的詞本意是指馬車上馬夫控制馬前進的韁繩(如果我記得沒錯的話),所以從詞源來看刻畫了一種過程前進(未來)與現在出發點關系的含義。具體來說韁繩的作用是使得馬車的前進方向與現在所沖的方向一致,所以在概率上來解釋就是未來發生的所有路徑可能性的期望值與現在的出發點一致。
從這個意義上來說Matingale的核心是說明了一個過程在向前演化的過程中的穩定性性質。但它并沒有說明這個過程是如何到達這一時間點的(是否由上一個時間點所在的位置決定,matingale并沒有說明)。再用馬車的例子來說,Martingale告訴了你馬車在未來是怎么向前走的,中間會有左右的波動(比如馬、車夫走神了,路上有坑馬要繞開,etc.),但整體來說馬是沿著一條直線向前走的。
而馬爾科夫過程的核心在于點明了過程的演化是無記憶性的。還拿馬車來舉栗子,假設車夫喝醉了,他沒有意識并在一個很大的廣場,馬車下一刻前進的方向并不需要是一條直線(經過車夫與馬的直線,這種情況下韁繩是繃直的,是martingale),或者說韁繩由于車夫沒繃緊是松垮的,這種情況下馬車在下一刻可以去任何一個方向,整體上來說前進方向也不必須有什么穩定性規律可循,但整個過程唯一的共性是馬邁出前腿的時候,能夠到達的所有可能范圍,是由它的后腿(你現在所在的位置)決定的(但馬可能扭一扭屁股,身子彎曲一下,所以不必須走直線,不必需走直線,不必需走直線!),而并沒有由上一步馬所在的位置決定,這也就是所謂的無記憶性。
所以從這兩個角度來理解,兩個名詞
有共性:都從一個過程的全生命角度描畫了一個過程的演進性質,
有重疊:當還是馬車例子的時候,martingale也是一個markov(因為雖然走直線,但下一刻的位置還是只由現在決定,只是馬身子不能扭曲,不能改變方向),這個例子在概率上最熟悉的模型就是brownian motion了;而反過來,馬車未來位置由現在決定,又走直線,所以此時markov process 也是一個martingale (例子還是brownian motion);
但更重要的是兩個過程本質上不是在講一回事:比如還是馬車車夫,喝醉了但走在一個三維空間,這時候它是一個markov process,但是由于方向不確定,此時已經不是martingale而變成了一個local martingale; 而反過來,假設有一個錯幀宇宙,空間共享但時間差一天,這時候同一個馬車走在不同的宇宙里(但行走軌跡獨立),韁繩拉直,此時兩架馬車都走之前,兩架馬車組成的系統是一個martingale,但是由于下一時刻前進的方向與宇宙1中的此時有關,也與宇宙2中的昨天有關,所以兩架馬車組成的系統就不再是一個markov了。
總結一下,brownian motion (wiener process)既是markov process 又是 martingale; 而markov process 與martingale是相交而非包含與反包含關系。只能說你中有我我中有你,但你不屬于我我也不屬于你…
3. 公式理解
https://www.zhihu.com/question/22181185
總結
以上是生活随笔為你收集整理的martingale与Markov Process的关系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MATLAB 在一个数组中随机选择n个数
- 下一篇: 车辆怎么备案两个驾驶证(车辆怎么备案)