7.5.2 學(xué)習(xí)

• 若網(wǎng)絡(luò)結(jié)構(gòu)已經(jīng)知道，則屬性間的依賴關(guān)系已經(jīng)知道，則貝葉斯的學(xué)習(xí)過程相對簡單，只需要對訓(xùn)練樣本進(jìn)行“計數(shù)”，估計處每個結(jié)點的條件概率表即可以了，但在現(xiàn)實應(yīng)用中我們往往并不知道網(wǎng)絡(luò)結(jié)構(gòu)。于是，貝葉斯學(xué)習(xí)的首要任務(wù)就是根據(jù)訓(xùn)練數(shù)據(jù)集來找到結(jié)構(gòu)最為恰當(dāng)?shù)呢惾~斯網(wǎng)。“評分搜索”是求解這一問題的常用方法。具體來說，我們先頂一個一個評分函數(shù)，以此來評估貝葉斯網(wǎng)喝訓(xùn)練數(shù)據(jù)的契合程度，然后基于這個評分函數(shù)來尋找結(jié)構(gòu)最優(yōu)化的貝葉斯網(wǎng)，顯然，評分函數(shù)引入了我們希望獲得什么樣的貝貝葉斯網(wǎng)的歸納偏好。
• 常用評分函數(shù)通常是基于信息論準(zhǔn)則，此類準(zhǔn)則將學(xué)習(xí)問題看作是一個數(shù)據(jù)壓縮任務(wù)。學(xué)習(xí)的目標(biāo)是找到一個能以最短編碼長度描述訓(xùn)練數(shù)據(jù)的模型，此時編碼的長度包括了描述模型自身所需要的編碼位數(shù)以及使用該模型描述數(shù)據(jù)所需要的編碼位數(shù)，對于貝葉斯網(wǎng)學(xué)習(xí)而言，模型就是一個貝葉斯網(wǎng)，同時，每個貝葉斯網(wǎng)描述了一個在訓(xùn)練數(shù)據(jù)上的概率分布，自有一套編碼機制能夠使得那些經(jīng)常出現(xiàn)的樣本有更短的編碼，于是我們選擇那個綜合編碼長度最短的貝葉斯網(wǎng)，這就是**“最小描述長度 minimal description length” 準(zhǔn)則**。
• 給定訓(xùn)練集 D={x1，x2，……xm}，貝葉斯網(wǎng) B={G，誰他}在D上的評分函數(shù)可以寫作
  • s（B |D） =f（誰他） |B| - LL（B|D）
  • 其中，|B|是貝葉斯網(wǎng)的參數(shù)個數(shù)，f（誰他）表示描述每個參數(shù)誰他所需要的編碼位數(shù)
  • L L（B|D） =連乘 log P (下標(biāo)B）(xi) 就是貝葉斯網(wǎng)B 的對數(shù)似然，顯然，式子f（誰他）|B|是計算貝葉斯網(wǎng)B所需要的編碼位數(shù)，第二項就是計算B所對應(yīng)的概率分布PB對D描述得有多好，。于是，學(xué)習(xí)任務(wù)就轉(zhuǎn)化為了一個優(yōu)化任務(wù)，即需按照一個貝葉斯網(wǎng) B使得評分函數(shù) s（B|D）最小
    • 如果f（誰他）=1，即每個參數(shù)使用1編碼位描述，則得到AIC評分函數(shù)
      • AIC(B|D) =|B| -LL(B|D)
    • 如果f（誰他）=1/2 log m，則每個參數(shù)用1/2 log m編碼位描述，則得到BIC評分函數(shù)
      • BIC（B|D)=logm /2|B|-LL(B|D)
    • 如果f（誰他）=0.則不計算網(wǎng)絡(luò)進(jìn)行編碼的長度，則評分函數(shù)退化為負(fù)對數(shù)似然，相應(yīng)的，學(xué)習(xí)任務(wù)退化為極大似然估計。
• 不難發(fā)現(xiàn)，若貝葉斯網(wǎng)絡(luò)B={G,誰他}的網(wǎng)絡(luò)結(jié)構(gòu)G固定，則評分函數(shù) s（B|D）的第一項為常數(shù)，此時最小化 s（B|D) 等價于對參數(shù)誰他的極大似然估計，而誰他 xi|pai i能夠直接在訓(xùn)練數(shù)據(jù)D上通過經(jīng)驗估計獲得
  • sheita xi|pai i =PD（xi | pai i）
  • 其中PD（*）是D上的經(jīng)驗分布，因此，為了最小化評分函數(shù)s（B|D），只需要對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行搜索，而候選結(jié)構(gòu)的最佳參數(shù)可直接在訓(xùn)練集上計算得到
• 不幸的是，從所有可能的網(wǎng)絡(luò)空間中搜索最優(yōu)化的貝葉斯網(wǎng)結(jié)構(gòu)是一個NP問題，難以快速的求解。有兩種常見的策略能過在有限的時間內(nèi)求得一個近似解，第一種是貪心的方法，例如從某個網(wǎng)絡(luò)開始，每次調(diào)整一條邊（刪除，增加或者是調(diào)整），直到評分函數(shù)不再降低為止。第二種是通過給網(wǎng)絡(luò)結(jié)構(gòu)施加約束來削弱搜索空間，例如將網(wǎng)絡(luò)結(jié)構(gòu)限定為樹形結(jié)構(gòu)等

總結(jié)

以上是生活随笔為你收集整理的7.5.2 学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。