貝葉斯網絡

貝葉斯網絡的定義

貝葉斯網絡(Bayesian network)，又稱信念網絡(Belief Network),或有向無環圖模型(directed acyclic graphical model)，是一種概率圖模型，于1985年由Judea Pearl首先提出，它是一種模擬人類推理過程中因果關系的不確定性處理模型，其網絡拓撲結構是一個有向無環圖(DAG)。

貝葉斯網絡的有向無環圖中的節點表示隨機變量

，他們可以是可觀察到的變量，或隱變量、未知參數等。認為有因果關系(或非條件獨立)的變量或命題則用箭頭來連接。若兩個節點間以一個單箭頭連接在一起，表示其中一個節點是"因(parents)"，另一個是"果(children)"，兩節點就會產生一個條件概率值。

總而言之，連接兩個節點的箭頭代表此兩個隨機變量是具有因果關系，或非條件獨立。

例如，假設節點E直接影響到節點H，即E->H,則用從E指向H的箭頭建立節點E到節點H的有向弧(E,H),權值(即連接強度)用條件概率

來表示，如下圖所示：

簡言之，把某個研究系統中涉及的隨機變量，根據是否條件獨立繪制在一個有向圖中，就形成了貝葉斯網絡。其主要用來描述隨機變量之間的條件依賴，用圈表示隨機變量(random variables)，用箭頭表示條件依賴(conditional dependencies)。

令G=(I,E)表示一個有向無環圖(DAG)，其中I代表圖形中所有的節點的集合，而E代表有向連接線段的集合，且令

為其有向無環圖中的某一節點i所代表的隨機變量，若節點X的聯合概率可以表示成：

則稱X為相對于一有向無環圖G的貝葉斯網絡，其中

表示節點i之"因

，或稱

是i的父母parents。此外，對于任意的隨機變量，其聯合概率可由各自的局部條件概率分布相乘而得出：

如下圖，便是一個簡單的貝葉斯網絡：

由上圖

，

等于所有隨機變量

的條件概率的乘積，即上邊所說，對于任意的隨機變量，其聯合概率可由各自的局部條件概率分布相乘而得出。上式

，其中

的條件概率為

，

的條件概率為

，

的條件概率為

。

貝葉斯網絡的3中結構形式

給定如下圖的一個貝葉斯網絡：

從圖中可以比較直觀的看出：

?

的聯合分布為：

?

相互獨立(對應head-to-head)，無相互依賴關系

?

在

給定的條件下，是相互獨立的。

形式1：head-to-head

貝葉斯網絡的第一種結構形式如下圖所示：

所以有

，化簡后可得：

所以最后可得：

即在c未知得條件下，a，b被阻斷(blocked)，是獨立得，稱之為head-to-head條件獨立。

形式2：tail-to-tail

貝葉斯網絡得第二種結構如下圖所示：

①在c未知得條件下，有：

此時，無法得出

，即c未知時，a，b不獨立。

②在c已知得條件下，有：

，然后將

帶入式子中，得到

，即c已知時，a，b獨立。

所以在c給定得條件下，a，b時被阻斷(blocked)的，是獨立的，稱之為tail-to-tail條件獨立。

形式3：head-to-tail

貝葉斯網絡的第三種結構形式如下圖所示：

還是分c未知和c已知兩種情況:

①、c未知時，有：

，但無法推出

，即c未知時，a，b不獨立

②c已知時，有：

所以在c給定的條件下，a，b被阻斷(blocked)，是獨立的，稱之為head-to-tail條件獨立。

實心圓圈表示已知

根據之前對head-to-tail的講解，我們已經知道，在xi給定的條件下，xi+1的分布和x1,x2…xi-1條件獨立。意味著啥呢？意味著：xi+1的分布狀態只和xi有關，和其他變量條件獨立。通俗點說，當前狀態只跟上一狀態有關，跟上上或上上之前的狀態無關。這種順次演變的隨機過程，就叫做馬爾科夫鏈(Markov chain)。且有：

接著，將上述結點推廣到結點集，則是：對于任意的結點集A，B，C，考察所有通過A中任意結點到B中任意結點的路徑，若要求A，B條件獨立，則需要所有的路徑都被阻斷(blocked)，即滿足下列兩個前提之一：

A和B的"head-to-tail型"和"tail-to-tail型"路徑都通過C；

A和B的"head-to-head型"路徑不通過C以及C的子孫；

貝葉斯網絡實例：

總結

以上是生活随笔為你收集整理的贝叶斯定理 php,朴素贝叶斯及贝叶斯网络简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。