基本定義

(馬爾可夫鏈)考慮一個隨機變量的序列$X=\{X_o,X_1,...,X_t,...\}$這里$X_t$表示時刻t的隨機變量，t=0,1,2… 每個隨機變量$X_t(t=0,12...)$的取值集合相同，稱為狀態空間，表示為S。隨機變量可以是離散的，也可以是連續的。以上隨機變量的序列構成隨機過程( stochastic process)。

假設在時刻0的隨機變量$X_0$遵循概率分布$P(X_o)=T_o$, 稱為初始狀態分布。在某個時刻t≥1的隨機變量$X_t$，與前一個時刻的隨機變量$X_{t?1}$之間有條件分布$P(X_t|X_{t?1})$, 如果$X_t$，只依賴于$X_{t?1}$而不依賴子過去的隨機變量$X=\{X_o,X_1,...,X_t,...\}$,這一性質稱為馬爾可夫性，即

$$P(X_t|X_0,X_1,...,X_{t?1})=P(X_t|X_{t?1}),t=1,2,...$$

具有馬爾可夫性的隨機序列$X=\{X_o,X_1,...,X_t,...\}$稱為馬爾可夫鏈(Markovchain),或馬爾可夫過程( Markov process). 條件概率分布$P(X_t|X_{t?1})$稱為馬爾可夫鏈的轉移概率分布。轉移概率分布決定了馬爾可夫鏈的特性。
馬爾可夫性的直觀解釋是“未來只依賴于現在(假設現在已知)，而與過去無關”。這個假設在許多應用中是合理的。

若轉移概率分布$P(X_t|X_{t?1})$與t無關，即

$$P(X_{t+s}|X_{t?1+s})=P(X_t|X_{t?1}),t=1,2,...;s=1,2,...$$

則稱該馬爾可夫鏈為時間齊次的馬爾可夫鏈(timehomogenousMarkovchain)。本文中提到的馬爾可夫鏈都是時間齊次的。

以上定義的是一階馬爾可夫鏈，可以擴展到n階馬爾可夫鏈，滿足n階馬爾可夫性

$$P(X_t|X_o{X}_1...X_{t?2}{X}_{t?1})=P(X_t|X_{t?n}...X_{t?2}{X}_{t?1})$$

本文主要考慮一階馬爾可夫鏈。容易驗證n階馬爾可夫鏈可以轉換為一階馬爾可夫鏈。
舉例：
取一個隨機序列$X=\{1,3,2,3,2,3,3,1,2,3,1,3,...\}$
由于序列中只出現了1，2，3三個數字，所以狀態空間為$S=1,2,3$
假設馬爾可夫鏈如下

則它的轉移概率$P(X_t|X_{t?1})$表示如下

注：以上舉例是為了更好的理解 序列、狀態空間、馬爾可夫鏈、轉移概率 等概念的涵義，沒有實際計算意義。

總結

以上是生活随笔為你收集整理的马尔可夫链基本定义的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。