轉(zhuǎn)載自? ?NLP Coursera By Michael Collins - Week1

NLP Coursera By Michael Collins - Week1

構(gòu)建模型框架 - Markov Process

畢竟是機(jī)器學(xué)習(xí)嘛，所以第一步，先要把實(shí)際問(wèn)題轉(zhuǎn)化成數(shù)學(xué)模型。

?

在NLP中，一般使用的都是概率模型，即把語(yǔ)言模型變成概率論范疇。

比如說(shuō)，現(xiàn)在有一段語(yǔ)音，說(shuō)的很含糊，沒(méi)有聽(tīng)清楚，好像是“l(fā)ike your”，又好像是“l(fā)ie cured”。

那么到底是哪一種呢？我們就看在現(xiàn)有的語(yǔ)料庫(kù)中，到底是“l(fā)ike your”出現(xiàn)的概率大，還是“l(fā)ie cured”的概率大。

于是就把語(yǔ)音識(shí)別問(wèn)題轉(zhuǎn)變成了一個(gè)概率問(wèn)題：輸入一串字符，輸出這串字符組合在一起的概率，如果概率大，就是正確的句子。

下面構(gòu)建這個(gè)模型

至此，模型框架搭建完畢，但是參數(shù)還沒(méi)有設(shè)定好。

也就是說(shuō)，現(xiàn)在如果向模型中隨便輸入一個(gè)句子，要求輸出的結(jié)果是這個(gè)句子出現(xiàn)的概率。

那么我們就需要事先知道模型中，每一個(gè)p(w|u,v)。

用如下方式來(lái)計(jì)算：

對(duì)于上面的計(jì)算方法，不能解決出現(xiàn)概率為0，但實(shí)際這句句子是合理的情況。

下面介紹兩種方法，來(lái)對(duì)上面的計(jì)算方法進(jìn)行改進(jìn)：

第一種是Linear Interpolation：

這里的三個(gè)系數(shù)用下面的方法進(jìn)行選擇：

其實(shí)這個(gè)方法就是將三種計(jì)算概率的方式線性結(jié)合起來(lái)，具體的結(jié)合方式有很多種，上面只是其中一種。

上面這個(gè)方法中的三個(gè)系數(shù)和概率本身沒(méi)有關(guān)系，但是更好的方法是讓他們有關(guān)系：

bucketing法：對(duì)不同范圍內(nèi)的counts，使用不同的系數(shù)

將三個(gè)系數(shù)都寫(xiě)成同一個(gè)參數(shù)的線性組合：

?

第二種是Discounting Method:

這個(gè)方式就是，從概率不為0的情況中分出一部分的概率給概率為0的情況。

至此為止，整個(gè)模型搭建完畢。

?

評(píng)價(jià)模型

一般情況下：

當(dāng)服從均勻分布的時(shí)候：

?

以上就是這一周的課程中講的內(nèi)容。notes中的內(nèi)容和這個(gè)一樣，基本沒(méi)有什么補(bǔ)充。

下面用一張流程圖來(lái)總結(jié)一下整個(gè)模型的構(gòu)建過(guò)程。

總結(jié)

以上是生活随笔為你收集整理的NLP Coursera By Michael Collins - Week1的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。