【神经网络】神经网络结构在命名实体识别(NER)中的应用
命名實(shí)體識(shí)別(Named Entity Recognition,NER)就是從一段自然語(yǔ)言文本中找出相關(guān)實(shí)體,并標(biāo)注出其位置以及類(lèi)型,如下圖。它是NLP領(lǐng)域中一些復(fù)雜任務(wù)(例如關(guān)系抽取,信息檢索等)的基礎(chǔ)。
NER一直是NLP領(lǐng)域中的研究熱點(diǎn),從早期基于詞典和規(guī)則的方法,到傳統(tǒng)機(jī)器學(xué)習(xí)的方法,到近年來(lái)基于深度學(xué)習(xí)的方法,NER研究進(jìn)展的大概趨勢(shì)大致如下圖所示。
在基于機(jī)器學(xué)習(xí)的方法中,NER被當(dāng)作是序列標(biāo)注問(wèn)題。與分類(lèi)問(wèn)題相比,序列標(biāo)注問(wèn)題中當(dāng)前的預(yù)測(cè)標(biāo)簽不僅與當(dāng)前的輸入特征相關(guān),還與之前的預(yù)測(cè)標(biāo)簽相關(guān),即預(yù)測(cè)標(biāo)簽序列之間是有強(qiáng)相互依賴(lài)關(guān)系的。例如,使用BIO標(biāo)簽策略進(jìn)行NER時(shí),正確的標(biāo)簽序列中標(biāo)簽O后面是不會(huì)接標(biāo)簽I的
在傳統(tǒng)機(jī)器學(xué)習(xí)中,條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)是NER目前的主流模型。它的目標(biāo)函數(shù)不僅考慮輸入的狀態(tài)特征函數(shù),而且還包含了標(biāo)簽轉(zhuǎn)移特征函數(shù)。在訓(xùn)練時(shí)可以使用SGD學(xué)習(xí)模型參數(shù)。在已知模型時(shí),給輸入序列求預(yù)測(cè)輸出序列即求使目標(biāo)函數(shù)最大化的最優(yōu)序列,是一個(gè)動(dòng)態(tài)規(guī)劃問(wèn)題,可以使用維特比算法進(jìn)行解碼。
在傳統(tǒng)機(jī)器學(xué)習(xí)方法中,常用的特征如下:
?
總結(jié)
以上是生活随笔為你收集整理的【神经网络】神经网络结构在命名实体识别(NER)中的应用的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 201671010128 2017-10
- 下一篇: Linq 实现 DataTable 行转