目錄

隱馬爾可夫模型HMM（這里用一個(gè)HMM第三個(gè)問題來舉例）

CRF條件隨機(jī)場(chǎng)

?馬爾可夫性：

概率無向圖：

團(tuán)和最大團(tuán)：

概率無向圖的因子分解：

CRF的應(yīng)用

總結(jié)

3.1 隨機(jī)場(chǎng)->馬爾可夫隨機(jī)場(chǎng)

3.2 馬爾可夫隨機(jī)場(chǎng)->條件隨機(jī)場(chǎng)

3.3 條件隨機(jī)場(chǎng)->線性鏈條件隨機(jī)場(chǎng)注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結(jié)構(gòu)。

---

隱馬爾可夫模型HMM（這里用一個(gè)HMM第三個(gè)問題來舉例）

簡(jiǎn)單來說第一天的初始狀態(tài)未知，但是狀態(tài)轉(zhuǎn)移矩陣已知。當(dāng)天伴隨自變量的事件狀態(tài)轉(zhuǎn)移矩陣已知，同時(shí)知道一段時(shí)間的因變量的結(jié)果，求這段時(shí)間概率最大的自變量

?以上是一個(gè)生動(dòng)的例子

要解決這個(gè)問題：需要使用viterbi算法

介紹viterbi算法就不用上面的例子了，換一個(gè)例子進(jìn)行通俗講解：

?這是一個(gè)取球不放回模型，pai是初始條件概率矩陣，A是狀態(tài)轉(zhuǎn)移矩陣，B是觀測(cè)狀態(tài)轉(zhuǎn)移矩陣，由每日狀態(tài)來決定，簡(jiǎn)單理解就是一個(gè)隨當(dāng)天自變量而生成的因變量。知道三次取球結(jié)果為紅白紅，試問三次取球分別從哪個(gè)箱子取出的概率最大。

初始條件概率矩陣已知，則根據(jù)觀測(cè)狀態(tài)轉(zhuǎn)移矩陣計(jì)算出即首日觀測(cè)紅球概率矩陣。首次取球，從取到第一個(gè)箱子且紅球概率為0.1，同理2紅0.16，3紅0.28，如果首次是這樣的條件矩陣，?那么可以推算出第二次在各個(gè)箱子開出白球的概率（這里是在第一次開紅球的基礎(chǔ)上在各箱中開白球的概率）

?需要注意的是，因?yàn)榈诙卧诘谝粋€(gè)箱子里面開白球的概率是由第一次在三個(gè)箱子開紅球這個(gè)事件共同決定，我們找出第一次在三個(gè)箱子中最有可能的哪一個(gè)，也就是在式子中的max函數(shù)，同理得到第二次每個(gè)箱子開白球所最有可能的第一次開紅球的箱子都是3，可以大致覺得第一次就是由三這個(gè)箱子開出的紅球；同理第三次開紅球推測(cè)第二次由哪個(gè)箱子開白球的概率更大，前兩個(gè)箱子中開紅球認(rèn)為由二箱子開白球概率大，第三箱子開紅球認(rèn)為由三箱子開白球概率大，這里取第三個(gè)箱子的觀點(diǎn)是由于第三個(gè)箱子開出紅球而且在取第三個(gè)箱子條件概率下大于前兩個(gè)之和，所以認(rèn)為第二次取的是第三個(gè)箱子，而第三次取的是什么箱子就是看第三次哪個(gè)取紅球的概率大，這就構(gòu)成了整條鏈的概率，比窮舉法節(jié)約了時(shí)間復(fù)雜度。

CRF條件隨機(jī)場(chǎng)

P(Y/X)? ：X是輸入變量，Y是輸出變量，Y滿足馬爾可夫隨機(jī)場(chǎng)。

條件概率：略

無向圖--概率無向圖模型：馬爾可夫隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)：在X輸入下Y輸出滿足馬爾可夫條件

線性鏈的條件隨機(jī)場(chǎng)：X是線性所產(chǎn)生的Y是馬爾可夫隨機(jī)場(chǎng)

概率圖模型：（狀態(tài)轉(zhuǎn)移的圖）

?馬爾可夫性：

概率無向圖：

概率無向圖本質(zhì)上就是具有馬爾可夫性的一個(gè)無向圖

下圖是一個(gè)概率無向圖，具有全局馬爾可夫性（局部馬爾可夫性，成對(duì)馬爾可夫性自行腦補(bǔ)）

介紹重點(diǎn)是概率無向圖可以進(jìn)行因式分解，至于如何進(jìn)行因式分解，就需要介紹團(tuán)和最大團(tuán)的概念

團(tuán)和最大團(tuán)：

概率無向圖的因子分解：

CRF的應(yīng)用

輸入輸出經(jīng)過某個(gè)分布?P(Y|X)，線性鏈條件隨機(jī)場(chǎng)（Linear-CRF）公式如下

從上面那個(gè)例子，我們可以了解到，條件隨機(jī)場(chǎng)的在 NLP 領(lǐng)域的作用就是：標(biāo)注（或者，命名實(shí)體識(shí)別）

從公式中我們可以看到，當(dāng)前的標(biāo)注結(jié)果 y，還會(huì)參考上一個(gè)標(biāo)注的結(jié)果 y_i-1。也就是說，CRF 在標(biāo)記數(shù)據(jù)的時(shí)候，會(huì)考慮前一個(gè)數(shù)據(jù)的標(biāo)記信息，這對(duì)于解析句子語法結(jié)構(gòu)來說是得天獨(dú)厚的優(yōu)勢(shì)（例如：動(dòng)詞后面不能跟動(dòng)詞）。而這一點(diǎn)，是普通的分類器難以做到的。
?

總結(jié)

3.1 隨機(jī)場(chǎng)->馬爾可夫隨機(jī)場(chǎng)

首先，我們來看看什么是隨機(jī)場(chǎng)。“隨機(jī)場(chǎng)”的名字取的很玄乎，其實(shí)理解起來不難。隨機(jī)場(chǎng)是由若干個(gè)位置組成的整體，當(dāng)給每一個(gè)位置中按照某種分布隨機(jī)賦予一個(gè)值之后，其全體就叫做隨機(jī)場(chǎng)。還是舉詞性標(biāo)注的例子：假如有一個(gè)十個(gè)詞形成的句子需要做詞性標(biāo)注。這十個(gè)詞每個(gè)詞的詞性可以在已知的詞性集合（名詞，動(dòng)詞…)中去選擇。當(dāng)我們?yōu)槊總€(gè)詞選擇完詞性后，這就形成了一個(gè)隨機(jī)場(chǎng)。

了解了隨機(jī)場(chǎng)，我們?cè)賮砜纯瘩R爾科夫隨機(jī)場(chǎng)。馬爾科夫隨機(jī)場(chǎng)是隨機(jī)場(chǎng)的特例，它假設(shè)隨機(jī)場(chǎng)中某一個(gè)位置的賦值僅僅與和它相鄰的位置的賦值有關(guān)，和與其不相鄰的位置的賦值無關(guān)。繼續(xù)舉十個(gè)詞的句子詞性標(biāo)注的例子：　如果我們假設(shè)所有詞的詞性只和它相鄰的詞的詞性有關(guān)時(shí)，這個(gè)隨機(jī)場(chǎng)就特化成一個(gè)馬爾科夫隨機(jī)場(chǎng)。比如第三個(gè)詞的詞性除了與自己本身的位置有關(guān)外，只與第二個(gè)詞和第四個(gè)詞的詞性有關(guān)。通常一個(gè)概率無向圖模型，又稱為馬爾可夫隨機(jī)場(chǎng)。

3.2 馬爾可夫隨機(jī)場(chǎng)->條件隨機(jī)場(chǎng)

CRF 是馬爾可夫隨機(jī)場(chǎng)的特例，它假設(shè)馬爾科夫隨機(jī)場(chǎng)中只有 X 和 Y 兩種變量， X 一般是給定的，而Y 一般是在給定 X 的條件下的輸出。這樣馬爾科夫隨機(jī)場(chǎng)就特化成了條件隨機(jī)場(chǎng)。在我們十個(gè)詞的句子詞性標(biāo)注的例子中，X是詞，Y是詞性。因此，如果我們假設(shè)它是一個(gè)馬爾科夫隨機(jī)場(chǎng)，那么它也就是一個(gè) CRF。

對(duì)于 CRF，給出準(zhǔn)確的數(shù)學(xué)語言描述：設(shè) X 與 Y 是隨機(jī)變量，P(Y|X) 是給定 X 時(shí) Y 的條件概率分布，若隨機(jī)變量 Y 構(gòu)成的是一個(gè)馬爾科夫隨機(jī)場(chǎng)，則稱條件概率分布 P(Y|X) 是條件隨機(jī)場(chǎng)。

3.3 條件隨機(jī)場(chǎng)->線性鏈條件隨機(jī)場(chǎng)
注意在 CRF 的定義中，我們并沒有要求 X 和 Y 有相同的結(jié)構(gòu)。

而實(shí)現(xiàn)中，我們一般都假設(shè)X和Y有相同的結(jié)構(gòu)，即:

X和Y有相同的結(jié)構(gòu)的CRF就構(gòu)成了線性鏈條件隨機(jī)場(chǎng)(Linear chain Conditional Random Fields,簡(jiǎn)稱 Linear-CRF)
?

總結(jié)

以上是生活随笔為你收集整理的CRF模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。