在這篇文章中，我將對多元線性回歸做同樣的事情。我將得出阻塞的Gibbs采樣器所需的條件后驗分布。然后我將對采樣器進行編碼并使用模擬數據對其進行測試。

?一個貝葉斯模型

假設我們有一個樣本大小的?科目。我們觀察?結果向量?。貝葉斯多元回歸假設該向量是從多元正態分布中得出的，其中均值向量是?和協方差矩陣?。這里?是觀察到?的協變量矩陣。注意，該矩陣的第一列是標識。參數矢量?的?， ???是一種常見的方差參數，?是?單位矩陣。通過使用單位矩陣，我們假設獨立觀察。從形式上看，

?

到目前為止，這與頻率設置中看到的多元正態回歸相同。假設?是完整列排名，最大化可能性產生解決方案：

?

通過為?和指定先驗分布來獲得貝葉斯模型?。對于這個例子，我將使用平坦的，不正確的先驗???和反伽馬先驗?：

?

?

我們假設超級參數是簡單的。

聯合后驗分布

關節后驗分布與...成正比

?

我們可以這樣寫，因為我們假設事先獨立。那是，

?。

替換分布，

?

block吉布斯采樣器

在對采樣器進行編碼之前，我們需要導出Gibbs采樣器的組件 - 每個參數的后驗條件分布。

條件后驗?是通過降低因子而?不是從關節后部和重新排列來找到的。這種情況很容易，因為沒有什么可以放棄的：

?

條件后驗?需要更多的線性代數。

?

這是一個非常漂亮和直觀的結果。因為我們在參數向量上使用平坦先驗，所以參數向量的條件后驗以最大似然估計為中心???。條件后驗的協方差矩陣是協方差矩陣的頻率估計，?

還要注意，條件后驗是一個多變量分布，因為它?是一個向量。因此，在Gibbs采樣器的每次迭代中，我們從后部繪制整個矢量或“塊”。這比從每個參數的條件分布中繪制條件分布一樣，一次一個，效率要高得多。這就是程序被稱為“阻塞”采樣器的原因。

模擬

?我模擬了一個??結果向量?。這?是?單位矩陣，?是一個?模型矩陣。真正的參數向量?是

?

運行阻塞的Gibbs采樣器（block_gibbs（）函數）會生成真實系數和方差參數的估計值。運行了500,000次迭代。老化期為100,000，修剪10次迭代。

下面是MCMC鏈的圖，其中真實值用紅線表示。

?

以下是應用老化和修剪后參數的后驗分布：

?

似乎我們能夠對這些參數進行合理的后驗估計。分布并不完全以事實為中心，因為我們的數據集只是事實的一個實現。為了確保貝葉斯估計器正常工作，我重復這個練習1000個模擬數據集。

這將產生1,000套后驗平均值和1,000套95％可信區間。平均而言，這1000個后方手段應以真相為中心。平均而言，真實參數值應該在95％的時間內在可信區間內。

以下是這些評估的摘要。

?

“Estimator Means”列是所有1,000個模擬的平均后驗平均值。非常好。百分比偏差均小于5％。所有參數的95％CI覆蓋率約為95％。

?

擴展

我們可以對此模型進行許多擴展。例如，可以使用除Normal之外的其他分布以適應不同類型的結果。例如，如果我們有二進制數據，我們可以將其建模為：

?

?

然后預先分配?。這個想法將貝葉斯線性回歸推廣到貝葉斯GLM。

在本文中概述的線性情況下，可以更靈活地對協方差矩陣進行建模。相反，假設協方差矩陣是具有單個共同方差的對角線。這是多元線性回歸中的同方差性假設。如果數據是聚類的（例如，每個受試者多次觀察），我們可以使用逆Wishart分布來模擬整個協方差矩陣。

還有問題嗎？聯系我們！

?

大數據部落 -中國專業的第三方數據服務提供商，提供定制化的一站式數據挖掘和統計分析咨詢服務

統計分析和數據挖掘咨詢服務：y0.cn/teradat（咨詢服務請聯系官網客服）

?QQ：3025393450

?

【服務場景】??

科研項目; 公司項目外包;線上線下一對一培訓;數據采集;學術研究;報告撰寫;市場調查。

【大數據部落】提供定制化的一站式數據挖掘和統計分析咨詢服務

?

轉載于:https://www.cnblogs.com/tecdat/p/10751627.html

總結

以上是生活随笔為你收集整理的R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。