---

隨機變量
　　-　通俗地講，是指隨機事件的數量表現。
　　-　從變量取值的不同可以分為離散型隨機變量和連續型隨機變量。
　　　　·　離散型：變量取值只能取離散型的自然數。
　　　　·　連續型：變量可以在某個區間內取任一實數（變量的取值可以是連續的）。
　　　　·　參考鏈接：
　　　　　　-　?離散型隨機變量與連續型隨機變量的區別與特點~
　　　　　　-?　隨機變量（百度百科/維基百科）
　　

---

隨機過程
　　-　通俗地講，是指隨機變量的集合。
　　-　記為{ x ( t ) , t ∈ T }。
　　-　x ( t ) 表示在同一狀態空間E中取值的隨機變量。 E 可以為可數多個離散性狀態，也可以取任意連續型狀態。
　　-　T 表示參數集。根據 T 為可數參數集/不可數參數集，{ x ( t ) , t ∈ T }為離散參數/連續參數的隨機過程。
　　-　隨機序列： T 為可數集的隨機過程。
　　-　隨機過程可以表示一個系統的特征（系統的變化過程）。
　　

---

馬爾科夫過程（馬氏過程）
　　-　定義：具有無后效性的隨機過程。
　　-　無后效性：當系統在時刻 tm 所處的狀態為已知時，系統在大于 tm 的時刻 t 所處狀態的概率特性只與系統在 tm 時刻所處的狀態有關，而與系統在 tm 時刻以前的狀態無關。
　　-　通俗地講，系統在當前時刻所處的狀態僅僅與系統上一時刻所處的狀態有關；系統在下一時刻所處的狀態僅僅與系統當前時刻所處的狀態有關，與系統上一時刻所處的狀態無關。
　　-　例題：判斷是否是馬氏過程？
　　　? 某企業實行技術人員在生產部門、技術部門和銷售部門輪換工作的制度，以便使技術人員具有多方面的實際工作經驗。輪換的辦法是采取隨機形式，每半年輪換一次。每個技術人員下一輪所去的部門并不是機會均等的，也可能在原部門再工作一輪。
　　　　答案：不是。很容易地看出來，該輪崗過程是不具有無后效性這一特征的。
　　-　根據 E 和 T ，馬氏過程可以分為4類：
　　　　·　時間離散，狀態離散的馬氏過程，又稱 馬爾科夫鏈（馬氏鏈）。
　　　　·　時間離散，狀態連續的馬氏過程。時間連續，狀態離散的馬氏過程。時間連續，狀態離散的馬氏過程。

---

符合馬氏過程的相關例子
　　例1、（直線上的隨機游動）
　　一個質點在零時刻處于實數軸上的原點的位置。每隔單位時間右移或左移一個單位長度，右移的概率為p（0 < p < 1 ），左移的概率為q，其中q=1-p。記質點在第n時刻的位置為X（n），n=0，1，2，…。質點在直線上的移動是隨機的，故稱之為質點在直線上的隨機游動。
　　解析：該過程是一個馬氏過程。在圖上畫一個數軸。當 n=0 時，質點在 0 點，有 p 的概率右移一個單位，有 q 的概率左移一個單位。假設質點右移 1 單位，移到了 1 這個位置點。當 n=1 的時候，質點在 1 點，仍然是有 p 的概率右移一個單位，有 q 的概率左移一個單位。假設質點仍然右移 1 單位，移到了 2 這個位置點。當 n=2 時，質點在 2 點。接下來 n=3 時質點移動到的點的狀態要么是 1 ，要么是 3，跟 n=2 時質點的位置狀態有關，跟 n=1 以及 n=0 時質點的位置狀態無關。符合無后效性。因此，具有無后效性的隨機過程是馬氏過程。（其實很簡單地畫個圖就能講明白了，感覺被自己說復雜了）
　　例2、（電話交換站的呼喚次數）
　　電話交換站在t時刻前來到的呼喚次數X（t）（即時間[0，t]內來到的呼喚數）是一個隨機過程。已知現在tm時刻前來到的呼喚次數，未來時刻t（t> tm）前來到的呼喚數只依賴于tm時刻前來到的呼喚數，這是因為[0，t]內來到的呼喚數等于[0，tm]時間內來到的呼喚次數加上（tm，t]時間內來到的呼喚數，而（tm，t]時間內來到的呼喚數與tm以前來到的呼喚數相互獨立。因此，X（t）具有無后效性，是馬爾科夫過程。
　　例3、（布朗運動）
　　將一顆小花粉放在水面上，由于水分子的沖擊，使它在液面上隨機地運動。這種游動物理上稱為布朗運動。在水面上作一平面直角坐標系，不妨取花粉的起始位置為坐標原點。考察在t時刻花粉所處位置的x坐標，記為X（t）。由于tm時刻后花粉的位置僅依賴于現在（ tm時刻）的位置，而與過去花粉的位置無關，所以花粉隨機游動具有無后效性。因而，X（t）也具有無后效性，是馬爾科夫過程。同樣地，花粉位置的Y（t）也是馬爾科夫過程。
　　例4、（疾病死亡模型，Fix-Neyman（1951））
　　考慮一個包含兩個健康狀態S1和S2以及兩個死亡狀態S3和S4（即由不同原因引起的死亡）的模型。若個體病愈，則認為它處于狀態S1；若患病，則認為它處于S2，個體可以從S1和S2進入S3和S4。這是一個馬爾科夫過程。
　　例5 （賭徒破產或帶吸收壁的隨機游動）
　　系統的狀態是0到n，反映賭博者A在賭博期間擁有的錢數，當他輸光或擁有錢數為n時，賭博停止；否則，他將持續賭博，每次以概率p贏得1，以概率q=1-p輸掉1。這個系統也是馬爾科夫過程。
　　例6 例5中當A輸光時，將獲得贊助讓他繼續賭下去，其余條件不變，則這個也是馬爾科夫過程。
　　例7 （自由隨機游動）
　　設一個球在全直線上做無限制的隨機游動，它的狀態為0，±1，±2，…。這個系統也是馬爾科夫過程。

---

馬爾科夫鏈（馬氏鏈）
　　-　定義1（如下圖）：

　　-　通俗地解釋定義1：由概率論知識得，第n個狀態的條件概率等于之前n-1個狀態都成立時第n個狀態出現的概率，由于馬爾科夫性質，則簡化成第n個狀態的條件概率就等于第n-1個狀態條件下狀態n出現的概率。

　　-　記為 { X （ n ），n=0,1,2,… }
　　-　特性：已知系統的當前狀態，就足以預計系統在下一步上出現某一狀態的可能性，而不必考慮系統在過去曾經到達的狀態，以及如何到達目前狀態的過程。（進行預測）
　　-　馬氏鏈在n時刻的k步轉移概率：

　　-　轉移概率表示已知 n 時刻處于狀態 i ，經 k 個單位時間后系統處于狀態 j 的概率。

---

齊次馬爾科夫鏈
　　-　一步轉移概率（k=1）

　　　　·　一步轉移概率的特點
　　　　·　一步轉移概率的矩陣形式

　　　　　　-　有限集下是一個N*N的方陣，N為狀態空間E的數量

　　-　一般地說，獨立同分布的離散隨機變量序列 { X（n），n=0，1，2，…} 也是馬爾科夫鏈。

轉載于:https://www.cnblogs.com/lucky-sherlock/p/9602730.html

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的理解马尔科夫过程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。