1 引言

之前學習了伯努利過程和泊松過程，它們是無記憶性，不依賴于過去的狀態，今天學習了馬爾可夫鏈，它會依賴于過去的過程，更準確的說是依賴于過去的某種狀態。

2 離散時間的馬爾可夫鏈（Markov Chain, MC）

另一種是轉移概率圖（transition probability graph），類似：

3 狀態分類

一些狀態被訪問一次后，一定還會被繼續訪問，而對于另一些狀態來說卻不是這樣的。我們來給我們的狀態的可訪問性提供一些嚴格的定義。

　　如果i是常返的，A(i)可以稱作常返類，A(i)中的所有狀態都是相互可達的，A(i)之外的狀態不是從這些狀態可達的。用數學語言表達就是對任意的j∈A(i)，有A(i)=A(j)。上圖狀態3和4可以是一個常返類，狀態1自身形成一個常返類。
　　我們還可以發現一個直觀的事實，從任何一個非常返狀態出發，至少有一個常返狀態是從它可達的，對于一個馬爾可夫鏈至少存在一個常返狀態、從而也就至少存在一個常返類．所以，我們可以得到以下結論：

• 一個馬爾可夫鏈的狀態集合可以分解成一個或多個常返類，加上可能的一些非常返狀態。
• 一個常返態從它所屬的類里任何一個狀態出發是可達的。
• 從任何一個常返狀態出發都不可到達非常返狀態。
• 從一個非常返狀態出發，至少有一個常返狀態是可達的。

下圖我們舉了一些例子：

　　我們可以總結出這些規律：

• 一旦一個狀態進入（或開始于）一個常返類，它將停留在這個類里，因為在這個類里的所有狀態都是相互可達的，類里所有狀態將被無限次的回訪。
• 如果初始狀態是非常返的，那么狀態轉移的路徑開始部分包含非常返狀態，最后一定是由來自同一個類的常返狀態組成的。
  

所以，在一個有周期的常返類中，我們從子集的一個狀態出發，一次通過每一個子集，經過d步后又重新回到原來的子集。
　　我們還有一個更簡單的辦法來判斷一個常返類是非周期的。給定一個有周期的常返類，對于鏈中任意一個正時刻n，以及類中的狀態i，則必存在一個或多個狀態j使得rij(n)=0。原因是從狀態i出發，時刻n只可能到達其中一個集合Sk。所以要證明一個給定的常返類R是非周期的，只需驗證是否存在一個特定的時刻n≥1和特定的狀態i∈R，使得經過n步以后，可以到達R中所有的狀態，也就是說，對于所有的j∈R有rij(n)>0。反過來說也是對的，即類R如果是非周期的，當且僅當存在時刻n使得對于任何i,j∈R滿足rij(n)>0。

4 穩定性質

我們之前說過，當n非常大時，rij(n)有漸進行為。如果有兩個或者更多個常返狀態類，很顯然rij(n)的極限值一定依賴于初始狀態（未來訪問j的概率依賴于狀態j是否和初始狀態i處于相同的類），所以我們將鏈限定于只有一個常返類，再加上一些可能存在的非常返狀態。對于單個常返類的情況研究清楚以后，多個常返類的情況也就變得簡單明白了。因為我們知道，一旦狀態進入一個特定的常返類，它將一直處于這個類中。所以，可以利用單一類鏈的漸近行為去理解具有多個常返類的馬爾可夫鏈的漸近行為。

長期頻率概率

考慮一個與機器相關的馬爾可夫鏈，每天工作結束的時候機器有兩種狀態，正常工作或出現故障，每次出現故障時，就立即花1美元進行維修。我們應該如何建立模型，計算長期的每天平均修理費？

• 一種可能是將它看成未來任意一天的修理費的均值，這就需要計算故障狀態的穩態概率。
• 另一種方法是首先可以計算n天內的總期望花費，當n很大時再除以n。
  

生滅過程（birth and death process）

我們來談談生滅過程，一個生滅過程也是馬爾可夫鏈，它的狀態是線性排列的，生滅過程的狀態空間為{0,1,?,m}，且轉移只發生在相鄰狀態之間，或者狀態保持不變。實際生活中的排隊論就是一個例子。下表示了一個生滅過程的一般結構，也介紹了轉移概率的一般情況：

5 吸收概率（absorption probability）

前面我們考慮的是馬爾可夫鏈的長期行為，下面我們將學習馬爾可夫鏈的短期行為。
　　考慮開始于非常返狀態的情形，我們感興趣的是首次訪問常返態的分布以及對應的到達時間的分布。在這種情況下，馬爾可夫鏈的后續行為（到達常返態之后）是不重要的，所以我們重點討論每一個常返態k為吸收的，即：

關于吸收概率方程組的解的唯一性這里就不單獨證明了。

6 連續的馬爾可夫鏈

我們之前討論的都是離散時間的馬爾可夫鏈，假設狀態都是在單位時間內發生的。接下來我們要考慮連續時間的馬爾可夫鏈，它被用于很多按照連續時間到達的過程，例如通信網絡中的分布中心，其中新信號的到達是按照泊松過程到達的。
　　
　　我們將考慮一個過程，它按照一定的轉移概率從一個狀態轉移到下一個狀態，但是我們令兩次轉移之間的時間是一個連續隨機變量，假設狀態的個數是有限的，狀態空間是集合S={1,?,m}，記Xn為第n次轉移后的概率，Yn為第n次轉移的時間，Tn為第n?1次轉移和第n次轉移的間隔時間。
　　
　　假設X0表示初始狀態，令Y0=0，我們給出假設：

• 如果當前狀態是i，到下一個轉移的時間服從已給參數vi的指數分布，且獨立于之前的歷史過程和下一個狀態。
• 如果當前狀態是i，按照給定的概率pij到達下一個狀態j，而且獨立于之前的歷史過程和轉移到下一個狀態的時間間隔。
  
  
  
  
  
  

7 Conclusion

馬爾可夫鏈區別于一般隨機過程的核心性質是轉移概率pij的性質，在當前狀態為i的條件下，下一個時刻為狀態j的轉移概率為pij，這與i所在的時刻是無關的，且獨立于時刻以前的狀態。所以，給定當前一個狀態，未來的狀態與過程的過去狀態是相互獨立的。
　　馬爾可夫鏈模型通常涉及到這幾個問題：

有關有限時間上過程的統計量的問題。（C-K方程）
有關馬爾可夫鏈的穩態概率的問題。（常返的，周期的，平衡方程組，歸一化方程）
有關馬爾可夫鏈的狀態轉移性質的問題。（吸收概率，平均首訪和回訪時間）
　　最后我們也考慮連續時間的馬爾可夫鏈在這類模型中，給定當前狀態下，下一個狀態由類似于離散時間的馬爾可夫鏈的相同機制所決定。但是，直到下個轉移發生的時間是指數型隨機變量，參數只依賴于當前狀態連續時間的馬爾可夫鏈在許多方面可以類比離散時間的馬爾可夫鏈，它們具有相同的馬爾可夫性質（在給定當前情況下，未來與過去獨立）。事實上，人們可以將連續時間的馬爾可夫鏈看成 時間軸上進行細分離散化的離散時間的馬爾可夫鏈。建立這個聯系后，連續時間的馬爾可夫鏈與離散時間的馬爾可夫鏈的穩態特性是相似的：假設只有一個常返類，那么處于任何狀態的概率，當時間趨于無窮的時候都收斂于一個穩態概率，而且該概率不依賴于初始狀態穩態概率可以通過求解平衡方程組和歸一化方程得到。

8 Refer

• 概率導論https://book.douban.com/subject/26694188/

原文: http://chengfeng96.com/blog/2019/04/28/馬爾可夫鏈筆記/　　作者: Hazza Cheng

總結

以上是生活随笔為你收集整理的马尔可夫链笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。