??????? 原文鏈接（系列）：http://blog.csdn.net/yangliuy/article/details/8067261

??????? 概率圖模型（Probabilistic?Graphical Model）系列來自Stanford公開課Probabilistic Graphical Model中Daphne Koller?老師的講解。（https://class.coursera.org/pgm-2012-002/class/index）

主要內容包括（轉載請注明原始出處http://blog.csdn.net/yangliuy）

1.????貝葉斯網絡及馬爾可夫網絡的概率圖模型表示及變形。

2.????Reasoning 及Inference 方法，包括exact inference (variable elimination, clique trees) 和 approximate inference(belief propagation message passing, Markov chain Monte Carlo methods)。

3.????概率圖模型中參數及結構的learning方法。

4.????使用概率圖模型進行統計決策建模。

第一講. 貝葉斯網絡基礎

1、貝葉斯網絡的定義

??????? 貝葉斯網絡是一個有向無環圖，其中結點代表了隨機變量，邊代表了隨機變量之間的概率關系，其聯合概率分布可以用貝葉斯鏈式法則來表示

????

???? ? 其中ParG(Xi)表示結點Xi在圖G中的父節點對應的隨機變量。

2、貝葉斯網絡中概率影響的流動（Flow of Probabilistic Influence）

?????? 概率影響的流動性反應了貝葉斯網絡中隨機變量條件獨立性關系，如下圖所示

圖中貝葉斯網絡模型反映如下四個隨機變量之間的關系

?????? Difficulty 課程難度

????? Intelligence 學生聰明程度

????? Grade 學生課程成績

????? SAT 學生高考成績

????? Letter 學生是否可以得到教授工作推薦信

在左邊對應的六種情況下，只有最后一種情況X→W←Y下X的概率不會影響到Y的概率。這是因為W不是被觀察變量，其值是未知的，因此隨機變量X的值不會影響隨機變量Y的取值。有趣的是，當中間W變量成為被觀察變量，上述結論就會發生變化。如下圖所示

??????? 當W?Z時，即W為觀察變量時，所有判斷會變得相反。仍然以?X→W← Y 為例，此時W的值已知，比如已知某個學生Grade為B，那么此時學生的聰明程度Intelligence和課程難度Difficulty就不再條件獨立了。比如，這種情況下如果課程比較容易，那邊學生很聰明的概率較小；反之，若課程很難，則學生很聰明的概率較大。其他情況可以采用右邊這個貝葉斯網絡例子來理解。

3 Active Trails

??????? 經過第2部分的分析，我們可以歸納如下結論

Atrail X1 ─ … ─ Xn is active if:

it has no v-structures

Atrail X1 ─ … ─ Xn is active given Z if:

– for any v-structure Xi-1 → Xi← Xi+1 we have that Xi or one of its descendants ∈Z

– no other Xi is in Z

顯然如果X1 ─ … ─Xn is active，那么X1和Xn就不再條件獨立。

?

4 Independence in Graph

?? ? ? 這里先總結D-separate 的情況，如下圖所示

?????

有了2-3部分的基礎，容易得出如下結論

??????

練習題

??????

答案選1和3。解析：由于G被觀察，那么2中IGL這條路徑就不再active，因為給定G后，I無法影響L的概率。而4中SJL這個v結構不是active的，因為J是未觀察變量，S不能影響L的概率。 故而2和4都錯誤。1和3都是active的。

如果兩個結點之間不存在任何Active Trails, 那么我們稱這兩個結點 d-separation 。有了d-separation 的概念，下面我們給出I-Map的定義

??????

??????? 本課程最后給出了Na?ve Bayes算法的介紹，這個算法可以參見我的博文數據挖掘-基于貝葉斯算法及KNN算法的newsgroup18828文本分類器的JAVA實現（上）

有給算法的詳細介紹和實現。

??????? 好了，第一講到此結束，下一講我們介紹Template Model及條件概率分布模型CPD。

總結

以上是生活随笔為你收集整理的Stanford概率图模型： 第一讲 有向图-贝叶斯网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。