筆記整理：楊帆，浙江大學(xué)碩士，研究方向知識圖譜.

---

論文鏈接：https://arxiv.org/pdf/1611.01628.pdf

動機(jī)

Referring expression（RE）在自然語言中十分常見，并且在信息交流中扮演了十分重要的角色，但是之前的工作并沒有在語言模型中明確地引入RE，作者在這篇論文中明確對RE建模，將其納入語言模型之中，用以提高文本生成的表現(xiàn)。

?

貢獻(xiàn)

1.提出了對自然語言中的reference（引用）進(jìn)行建模的框架

2.提出了第一個對引用建模的神經(jīng)模型，可以根據(jù)上下文生成引用的具體表現(xiàn)形式

3.在三個數(shù)據(jù)集上對模型進(jìn)行綜合評估，驗證了提出的模型比baseline表現(xiàn)更好

?

模型

和傳統(tǒng)的語言模型相比不同的是，作者在每個位置引入了一個隨機(jī)變量 z_i，用以決定該位置如何生成相應(yīng)的單詞，形式化的條件概率如下：

其中 z_i 在不同的上下文中有著不同的含義。作者分別從三項具體的任務(wù)出發(fā)詳細(xì)闡述了對應(yīng)的模型，分別為1）referenceto lists 2）referenceto databases 3）referenceto document context。

1）Reference to lists

該項任務(wù)主要考慮引用一個列表中的元素，這種任務(wù)有著很廣泛的應(yīng)用，比如根據(jù)文本生成對應(yīng)文檔，作者此處以根據(jù)食材生成食譜為例。

首先利用encoder對list中各個元素（食材）編碼，將最后的輸出作為decoder的初始輸入，然后將decoder的每個輸出與list中所有項目做attention得到，再利用decoder輸出和attention值生成以及傳統(tǒng)sequence to sequence 模型的輸出。可以看作一個開關(guān)，用于控制下一個單詞是從list中復(fù)制還是根據(jù)softmax生成，而和分別對應(yīng)最終生成的單詞。具體的計算過程如下：

2）Reference to databases

此類任務(wù)基礎(chǔ)框架和前一項任務(wù)相同，但是外部數(shù)據(jù)源從列表變?yōu)榱吮砀?#xff08;數(shù)據(jù)庫），則通過下列過程生成。

?

3）Reference document context

該項任務(wù)旨在生成文本時生成對前文出現(xiàn)的實體的引用，當(dāng) z_i=0，下一個單詞通過softmax生成，當(dāng)z_i=1，下一個單詞根據(jù) h_e 生成，此處與前兩項任務(wù)不同的是，前兩項任務(wù)從外部數(shù)據(jù)源（列表或數(shù)據(jù)庫）直接復(fù)制，而該任務(wù)是前文出現(xiàn)的實體變換之后得到對應(yīng)的單詞，概率形式如下：

其中 h_e 是一個動態(tài)維護(hù)的前文出現(xiàn)的實體集合，當(dāng)出現(xiàn)新的實體，則將其加入至集合之中，當(dāng)實體已在集合中出現(xiàn)，則用其新的表示替換舊的表示，示意圖如下：

實驗

上述三個表格分別對應(yīng)三項任務(wù)的實驗結(jié)果，可以看出在語言模型中引入RE的確提升了文本生成的性能表現(xiàn)。

---

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián)，促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。

點擊閱讀原文，進(jìn)入 OpenKG 博客。

總結(jié)

以上是生活随笔為你收集整理的论文浅尝 | 引入“引用”的语言模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。