第三章 平穩時間序列

在這里要先知道什么是隨機變量

隨機變量:設E為一個隨機現象，$\Omega$是樣本空間，即隨機現象的所有可能結果，如果說對于每一個$\omega \in \Omega$,總有一個實值函數$X(\omega )$與之對應，則稱$X(\omega )$為E的一個隨機變量。
注:隨機變量通常用大寫字母X,Y,Z表示，而隨機變量所取得值一般采用小寫字母表示。
例如:
單位時間內某電話臺收到的呼叫次數就是一個隨機變量，所以事件{收到一次呼叫}可表示為{X=1}。

3.1 線性平穩時間序列的基本概念

事物的變化分為兩類：
1.確定性變化過程:指事物的變化是由時間唯一確定的，或者說對于給定時間，人們事先能確切地知道事物變化的結果。
2.不確定性變化過程:指對給定時間，事物變化的結果不止一個，事先無法肯定哪個結果一定會發生，即事物變化具有隨機性，這樣的變化也稱隨機過程。
時間序列可以看作為隨機過程的一次樣本實現，任意時刻t的觀測值X_t可以看做是隨機變量X_t的一次樣本實現值。
解釋:我們舉一個例子來理解上面這段話，設用隨機變量X表示一天內一家商店的人數，則X(t)一個隨機過程是，因為進入商店的人數是隨機的，我們獲取了這家商店一天內的人數來進行時間序列建模，我們直接采用的話會造成數據冗余，因為商店人數不是每分每秒都在變化的，所以我們半個小時為采樣間隔來收集數據，如果將一天內商店的人數看為總體，則我們收集到的數據就是一個樣本。

(一) 隨機過程的科學解釋

1.從時間變化角度來看:若對于每一個特定的$t\in T$(T是一個無窮集合，稱為參數集)，X(t)是一個隨機變量，則稱這一組無窮個隨機變量{X_t:$t\in T$}是一個隨機過程。
2.從實驗結果來看:若對事物變化的全過程進行一次觀測，得到的變化是一個時間t的函數，但對于同一個事物的變化過程獨立地重復進行多次觀測，所得的結果不同，則稱這種變化過程為隨機過程。
3.從數學角度來看:設E是隨機試驗，S是它的樣本空間，如果對于每一個$e\in S$,我們總是可以以某種規則確定一時間t的函數X(e,t)$t\in T$(T是時間t的變化范圍)，于是對于所有$e\in S$，得到一組時間t的函數，稱這組時間t的函數為隨機過程。

隨機變量與隨機過程的 區別與聯系

隨機變量(R.V.)隨機過程(S.P.)

單值實函數(常實數)	關于t的函數
與t無關	與t有關
靜態(某一時刻)	動態(某一時間過程 )
一個隨機變量	一系列隨機變量
聯系	點和線的關系(隨機變量是點，隨機過程是線)

(二) 常見的隨機過程類型

1.純隨機過程:若隨機過程X(t)是由一個不相關的隨機變量的序列構成，則稱其為純隨機過程。
2.白噪聲:期望，方差均為常數的純隨機過程
正態白噪聲:零均值的白噪聲
3.獨立增量隨機過程:任意兩相鄰時刻的隨機變量之差是相互獨立的。即X(t₂)-X(t₁),X(t₃)-X(t₂),…,X(t_n)-X(t_n-1)相互獨立。
4.二階矩過程:若隨機過程{X_t:$t\in T$}對每一個$t\in T$，X_t的均值，方差都存在(即一階矩和二階矩都存在)。
5.正態過程:若隨機過程{X_t:$t\in T$}的任意有限分布都是正態分布，則稱其為正態隨機過程。
6.平穩過程:
1.平穩過程的特性:
- 均值與方差均為常數，并可用樣本均值和樣本方差分別進行估計。
- X_t的均值(數學期望)不隨時間而改變，即對于任何t，$E(X_t)=\mu$($\mu$為一個常數)
- X_t和X_t+k之間的協方差只與k有關，與t無關(該協方差稱為滯后k的自協方差);**滯后k的自相關系數**即為${\gamma }_k$;且
$$Var(X_t{)}^2={\gamma }_0;{\rho }_k=\frac{{\gamma }_k}{{\gamma }_0};{\rho }_0=1$$
1.嚴平穩過程:所有統計特性都不隨時間的平移而改變的隨機過程，即n維隨機向量(X(t₁),X(t₂),…,X(t_N))與n維隨機向量(X(t_1+c),X(t_2+c),…,X(t_N+c))具有相同的分布函數。
2.寬平穩過程:隨機過程{X_t:$t\in T$}的均值和協方差都存在，并且滿足下式，即：
$$E(X_t)=a$$
$$E(X_{t+\tau }?a)E(X_t?a)=R(\tau )$$
其中a為常數，$R(\tau$)為X(t)的協方差函數。
3.嚴平穩過程與寬平穩過程的關系:寬平穩對時間推移的不變性表現在一，二階矩上，嚴平穩對時間推移的不變性表現在概率分布上，一般來說，嚴平穩比寬平穩更穩。

• 嚴平穩$?$是寬平穩，寬平穩$?$是嚴平穩
• 二階矩有限的嚴平穩過程是寬平穩過程
• 白噪聲序列是寬平穩過程
• 對正態過程，嚴平穩過程$?$寬平穩過程
• 白噪聲是一個二階矩過程，白噪聲是一個寬平穩過程
• 正態過程是一個二階矩過程，寬平穩過程是一個二階矩過程
• 獨立增量隨機過程中由增量構成的隨機過程是純隨機過程
  7.非平穩過程:不具有平穩性的隨機過程。

(三)自相關與自回歸

自相關:時間序列前后數據間的依存關系。
自回歸:時間序列中X_t對其前項作出的回歸方程，如$X_t={\phi }_1{X}_{t?1}+a_t$
自回歸與普通回歸之間的區別:自回歸是對自身前期值的回歸，是一種動態相關，普通回歸是靜態相關。

3.2 一階自回歸模型

在本章及后面章節中，若不特別聲明，討論的都是零均值，平穩時間序列。

注:拿到一個時間序列數據，首先就是檢驗其平穩性和是否零均值。

(一)一階自回歸模型AR(1)

如果時間序列X_t(t=1,2,…)之間有一定的依存性，最簡單的關系就是后一時刻的行為主要與其前一時刻的行為有關，而與其前一時刻以前的行為無直接關系，即已知X_t-1X_t主要與X_t-1相關。用記憶性來說就是最短的記憶，即一期記憶，也就是一階動態性。描述這種關系的數學模型就是一階自回歸模型。

• 模型：$X_t={\phi }_1{X}_{t?1}+a_t$
  其中X_t為零均值平穩時間序列，${\phi }_1$為X_t對X_t-1的依賴程度，a_t為隨機擾動。
• 模型假設：
  1.X_t只與X_t-1有直接關系，與X_t-j(j=2,3,…)無直接關系；
  2.a_t是白噪聲，且a_{tNID(0,$\sigma_a^2$)即a}t_{服從均值為零的正態分布,且a}t_與Xt-j_{獨立，cov(a}t_,Xt-j~)=0
• 模型結構:模型分為${\phi }_1{X}_{t?1}與a_t$兩部分，這兩部分相互獨立
• AR(1)與普通一元線性回歸方程的區別
  

(二)相關序列的獨立化過程

相關序列的獨立化過程就是如何使相關序列轉化為獨立序列

由于時間序列序列X_t是一個相關序列，但很多統計方法都是以資料獨立為基礎的，所以我們需要將時間序列X_t轉化為獨立序列，就是對AR(1)模型的變形，即
$$a_t=X_t?{\phi }_1{X}_{t?1}$$

(三)隨機游動

隨機游動是AR(1)模型的一個特例，是**${\phi }_1$=1時AR(1)模型**，即
KaTeX parse error: Can't use function '$' in math mode at position 17: …_t- X_{t-1}=a_t$?或\nabla X_t=a_t$$
其中符號$?$表示差分算子，差分就是X_t與其前一期的差，從統計上講，差分結果所得到的序列就是逐期增長量。
隨機游動的特性:

系統具有極強的一期記憶性，即慣性。也就是說系統在t-1和t時刻的響應，除隨機擾動外，完全一致。差異完全是由擾動引起的。

在時刻t-1時，系統的一步超前預測就是系統在t-1時的響應X_t-1,即$X_{t?1}^1=X_{t?1}$

系統行為是一系列獨立隨機變量的和，即
$$X_t=\sum _{j=0}^{\infty }{a}_{t?j}$$

3.3 一般自回歸模型

(一) AR(2)模型

AR(1)模型$X_t={\phi }_1{X}_{t?1}+a_t$中X_t與X_t-1有關，如果自回歸系統中X_t不僅與X_t-1有關，而且與X_t-2有關，那么a_t與X_t-2有依賴性，a_t與X_t-2不獨立(也就是相關)，則假設:
$X_t={\phi }_1{X}_{t?1}+a_t^{\prime }$
$a_t^{\prime }={\phi }_2{X}_{t?2}+a_t$
$X_t={\phi }_1{X}_{t?1}+{\phi }_2{X}_{t?2}+a_t$

• 模型:$X_t={\phi }_1{X}_{t?1}+{\phi }_2{X}_{t?2}+a_t$
• 模型假設:
  1.X_t與X_t-1,X_t-2有直接相關關系，與X_t-j(j=3,4,…)無直接相關關系；
  2.a_t是白噪聲，且a_t~NID(0,${\sigma }_a^2$)即a_t服從均值為零的正態分布,且a_t與X_t-j獨立，cov(a_t,X_t-j)=0
• 模型結構:模型分為${\phi }_1{X}_{t?1}$,${\phi }_2{X}_{t?2}$和$a_t$共三部分，前兩部分與a_t相互獨立
• 獨立化:$a_t=X_t?{\phi }_1{X}_{t?1}?{\phi }_2{X}_{t?2}$

（二）一般自回歸模型：AR(n)模型

如果AR(2)中a_t不再是白噪聲序列，且X_t不僅與X_t-1，X_t-2有關，還與X_t-j(j=3,4,…,p)有關，就可以得到一般自回歸模型AR§，表達式為:
$$X_t={\phi }_1{X}_{t?1}+{\phi }_2{X}_{t?2}+...+{\phi }_p{X}_{t?p}+a_t$$
同樣，當p=n時，有

• 模型：$X_t={\phi }_1{X}_{t?1}+{\phi }_2{X}_{t?2}+...+{\phi }_n{X}_{t?n}+a_t$
• 模型假設：
• X_t與X_t-1,X_t-2…X_t-n有直接相關關系，與X_t-j(j=n+1,n+2,…)沒有直接相關關系；
• a_t是白噪聲，且a_t~NID(0,${\sigma }_a^2$)即a_t服從均值為零的正態分布,且a_t與X_t-j獨立，cov(a_t,X_t-j)=0
• 模型結構：模型分為${\phi }_1{X}_{t?1}$,${\phi }_2{X}_{t?2}$，…，${\phi }_n{X}_{t?n}$和$a_t$共n+1部分，前n部分與a_t相互獨立
• 獨立化：$a_t=X_t?{\phi }_1{X}_{t?1}?{\phi }_2{X}_{t?2}?...?{\phi }_n{X}_{t?n}$

3.4 移動平均模型

(一) 一階移動平均模型:MA(1)模型

• 模型：$X_t=a_t?{\theta }_1{a}_{t?1}$

• 模型假設：
  1.X_t只與a_t-1有直接關系，與a_t-j(j=2,3,…)沒有直接關系；
  2.a_t是白噪聲，且a_t~NID(0,${\sigma }_a^2$)即a_t服從均值為零的正態分布,且a_t與X_t-j獨立，cov(a_t,X_t-j)=0

• 模型結構:模型分為${\theta }_1{a}_{t?1}與a_t$兩部分，這兩部分相互獨立；

• 均值，方差與協方差：
  E(X_t)=0,$Var(X_t)=(1+{\theta }_1^2){\sigma }_a^2$
  
  X_t序列的協方差公式推導：
  當h=1(-1)時，以h=1為例
  此時協方差$Cov(X_t,X_{t+1})=E(x_t?E(X_t))(x_{t+1}?E(X_{t+1}))$
  因為E(X_t)=0，所以$Cov(X_t,X_{t+1})=E(x_t?0)(x_{t+1}?0)=E(X_t)(X_{t+1})$
  將$X_t=a_t?{\theta }_1{a}_{t?1}$代入$E(X_t)(X_{t+1})$可得：
  $Cov(X_t,X_{t+1})=E(a_t?{\theta }_1{a}_{t?1})(a_{t+1}?{\theta }_1{a}_t)=E(a_t{a}_{t+1}?{\theta }_1{a}_{t?1}{a}_{t+1}?{\theta }_1{a}_t^2+{\theta }_1{a}_{t?1}{\theta }_1{a}_t)$
  上式可化簡為：$Cov(X_t,X_{t+1})=E(a_t{a}_{t+1})?E({\theta }_1{a}_{t?1}{a}_{t+1})?E({\theta }_1{a}_t^2)+E({\theta }_1{a}_{t?1}{\theta }_1{a}_t)$
  因為a_t~NID(0,${\sigma }_a^2$)，對a_t+1,a_t-1同樣適用，且$Var(X)=E(X{)}^2?[E(X){]}^2$,
  所以$Cov(X_t,X_{t+1})=?E({\theta }_1{a}_t^2)=?{\theta }_{1}E(a_t^2)=?{\theta }_1{\sigma }_a^2$

(二) 一般移動平均模型：MA(q)模型

在MA系統中，X_t僅與a_t-1，a_t-2，…，a_t-q有關，而與a_t-j(j=q+1,q+2,…,)無關，a_t是白噪聲(相關性質看一階自回歸方程AP(1))，則:
$X_t=a_t?{\theta }_1{a}_{t?1}?{\theta }_2{a}_{t?2}?...?{\theta }_q{a}_{t?q}$
$Var(X_t)=(1+{\theta }_1^2+{\theta }_2^2+...+{\theta }_q^2){\sigma }_a^2$

3.5 自回歸移動平均模型

AR系統：系統在t時刻的響應X_t僅與其以前時刻的響應(X_t-j,j=1,2,…)有關，而與其以前時刻進入系統的擾動(a_t-j,j=1,2,…)無關。
MA系統：系統在t時刻的響應X_t僅與其以前時刻進入系統的擾動(a_t-j,j=1,2,…)有關，而與其以前時刻的響應(X_t-j,j=1,2,…)無關。
ARMA系統：系統在t時刻的響應X_t不僅與其以前時刻的響應(X_t-j,j=1,2,…)有關，還與其以前時刻進入系統的擾動(a_t-j,j=1,2,…)有關。

(一)ARMA模型

自回歸移動平均模型：
$$X_t={\phi }_1{X}_{t?1}+{\phi }_2{X}_{t?2}+...+{\phi }_p{X}_{t?p}+a_t?{\theta }_1{a}_{t?1}?{\theta }_2{a}_{t?2}?...?{\theta }_q{a}_{t?q}$$
簡稱為ARMA(p,q)過程
AR模型與MA模型都是ARMA模型的特殊形式。
注：ARMA(p,q)模型中的p與q分別是AR模型與MA模型中各自的階數。

(二)ARMA(2,1)模型

模型:$X_t?{\phi }_1{X}_{t?1}?{\phi }_2{X}_{t?2}=a_t?{\theta }_1{a}_{t?1}$
模型假設:
1. X_t只與X_t-1，X_t-2，a_t-1有直接關系，與a_t-j(j=2,3,…)，X_t-j(j=3,4,…)沒有直接關系；
2. a_t是白噪聲，且a_{tNID(0,$\sigma_a^2$)即a}t_{服從均值為零的正態分布,且a}t_與Xt-j_{獨立，cov(a}t_,Xt-j~)=0
模型結構：模型分為X_t-1，X_t-2，a_t-1與a_t共四部分
獨立化過程:$a_t=X_t?{\phi }_1{X}_{t?1}?{\phi }_2{X}_{t?2}+{\theta }_1{a}_{t?1}$

總結

以上是生活随笔為你收集整理的第三章 平稳时间序列模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。