論文摘要

當前最先進的語義角色標記（SRL）使用深度神經(jīng)網(wǎng)絡，但沒有明確的語言特征。之前的工作表明，抽象語法樹可以顯著改善SRL，從而提高模型準確性。在這項研究中，我們提出了語言學的自我關注（LISA）：該神經(jīng)網(wǎng)絡模型將 multi-head self-attention 與多任務學習相結(jié)合，包括依賴解析、詞性標注、謂詞檢測和語義角色標記。與先前需要大量預處理來準備語言特征的模型不同，LISA 可以僅使用原始的 token 對序列進行一次編碼，來同時執(zhí)行多個預測任務。此外，如果已經(jīng)有高質(zhì)量的語法分析，則可以在測試時加入，而無需重新訓練我們的SRL模型。在CoNLL-2005 SRL的實驗中，LISA使用預測謂詞和標準字嵌入幫助模型實現(xiàn)了最新的最先進性能。LISA還通過上下文編碼（ELMo）詞表示超出了最新技術水平。

總結(jié)

來自UMass Amherst信息與計算機科學學院和Google AI語言的研究人員介紹了基于語言學的自我注意（LISA），這是一種結(jié)合了深度學習和語言形式主義的神經(jīng)網(wǎng)絡模型，因此它能夠更有效地利用句法解析來獲得語義。實驗表明，LISA不僅在新聞領域應用表現(xiàn)優(yōu)秀，它還在分析寫作風格方面取得了最先進的表現(xiàn)，而且還可以很好地概括在不同領域的寫作風格，如新聞和小說寫作。

?

論文的核心思想是什么？

·???????基于Transformer編碼器的語言學自我關注（LISA）模型。

·???????網(wǎng)絡的輸入可以是一系列標準的預訓練GloVe字嵌入，但是通過預先訓練的ELMo表示與任務特定的學習參數(shù)相結(jié)合，可以實現(xiàn)更好的性能。

·???????為了將語言知識傳遞到后面的層次，研究人員建議訓練自我關注機制以處理與句子的句法結(jié)構(gòu)相對應的特定標記。此外，可以在測試時執(zhí)行輔助解析信息的注入，而無需重新訓練模型。

·???????遵循多任務學習方法，共享語義角色標記（SRL）模型中較低層的參數(shù)以預測詞性和謂詞。

?

取得了什么關鍵成就？

·???????開發(fā)一種將語法集成到神經(jīng)網(wǎng)絡模型中的新技術。

·???????在語義角色標記中實現(xiàn)最新的最先進性能：

1、使用GloVe嵌入：在新聞領域上獲得+2.5 F1積分，在域外文本上獲得+ 3.5F1分數(shù);

2、使用ELMo嵌入：在新聞上獲得+1.0 F1點，在域外文本上獲得+2.0F1分數(shù)。

AI社區(qū)對其評價是什么？

1.該論文被EMNLP 2018評為最佳長篇論文獎，EMNLP 2018是自然語言處理領域的領先會議。?

未來的研究領域是什么？

·???????提高模型的解析精度。

·???????開發(fā)更好的訓練技巧。

·???????適應更多任務。

什么是可能的商業(yè)應用？

1、語義角色標記對許多下游NLP任務很重要，包括：

§??信息提取;

§??問題回答;

§??自動摘要;

§??機器翻譯。

你在哪里可以得到實現(xiàn)代碼？

1.本研究論文的實施可從這里獲得。

9.一種用于學習語義任務嵌入的分層多任務方法，作者：VICTOR SANH，THOMAS WOLF和SEBASTIAN RUDER

論文摘要

我們已經(jīng)投入了大量精力來評估是否可以利用多任務學習在各種自然語言處理的應用中使用豐富表示。然而，我們真正缺乏的是對多任務學習具有顯著影響的設置的理解。在這篇論文中，我們介紹了在一個精心挑選在多任務學習設置中訓練的分層模型。該模型以分層方式進行訓練，通過監(jiān)督模型底層的一組低級任務和模型頂層的更復雜任務來歸納偏差。該模型在許多任務上實現(xiàn)了最優(yōu)秀的結(jié)果，例如命名實體識別。分層訓練監(jiān)督在模型的較低層引入一組共享語義表示，我們已經(jīng)證實，當我們從模型的底層移動到頂層時，層的隱藏狀態(tài)往往代表更復雜的語義信息。

總結(jié)

研究人員為一組相互關聯(lián)的NLP任務引入了一種多任務學習方法：命名實體識別，實體指代識別，共指消解和關系提取。他們證實，以分層方式訓練的單一模型可以解決上述的四項任務。此外，與單任務模型相比，多任務學習框架顯著加快了訓練過程。

本文的核心思想是什么？

·???????多任務學習方法可以有效地用于一組相互依賴的NLP任務。

·???????四個基本語義NLP任務：命名實體識別，實體指代識別，共指消解和關系提取相互受益，因此可以組合在單個模型中。

·???????該模型假定所選語義任務之間存在層次結(jié)構(gòu)：某些任務更簡單，需要對輸入進行較少的修改，因此可以在神經(jīng)網(wǎng)絡的較低層進行監(jiān)督學習，而其他任務則更加困難，需要更復雜的處理輸入，因此，應該在神經(jīng)網(wǎng)絡的更高層監(jiān)督學習。

什么是關鍵成就？

·???????分層多任務學習模型（HMTL）在4個任務中的挑戰(zhàn)了其中三個最先進的結(jié)果，即命名實體識別，關系提取和實體指代檢測任務。

·???????與單任務模型相比，多任務學習框架大大加快了訓練速度。

AI社區(qū)對其的看法是什么？

1.該論文將在2019年1月的AAAI會議上發(fā)表。

未來的研究領域方向是什么？

·???????將多任務學習模型與預訓練的BERT編碼器相結(jié)合。

·???????搜索多任務學習的其他設置。

什么是可能的商業(yè)應用？

1、企業(yè)可以利用這種多任務學習方法的優(yōu)勢，即高性能和高訓練速度，來增強：

?§???聊天機器人和語音助理的表現(xiàn);

?§???在文件中查找相關信息;

?§???分析客戶評論等；

你在哪里可以得到實現(xiàn)代碼？

1.你可以在GitHub上的獲得這篇研究論文的代碼。

10.?了解你不知道的事情：SRANAD的無法回答的問題，作者：PRANAV RAJPURKAR，ROBIN JIA和PERCY LIANG

論文摘要

提取閱讀理解系統(tǒng)通常可以在上下文文檔中找到問題的正確答案，但是它們也傾向于對在上下文中沒有陳述正確答案的問題做出不可靠的猜測。現(xiàn)有數(shù)據(jù)集太專注于可回答的問題，為了解決這些弱點，我們提供了SQuAD 2.0，這是斯坦福問答數(shù)據(jù)集（SQuAD）的最新版本。SQuAD 2.0將現(xiàn)有的SQuAD數(shù)據(jù)與眾包工作者寫的50000多個無法回答的問題結(jié)合起來，看起來類似于可回答的問題。為了在SQuAD 2.0上做得好，系統(tǒng)不僅要在可能的情況下回答問題，還要確定段落何時不支持答案并且不回答問題。

總結(jié)

斯坦福大學的一個研究小組擴展了著名的斯坦福問答數(shù)據(jù)集（SQUAD），增加了超過5萬個個無法回答的問題。這些問題的答案無法在段落中找到，但問題與可回答的問題非常相似。更重要的是，段落包含對這些問題的合理（但不正確）答案。這使得新的SQuAD 2.0對現(xiàn)有的最先進模型極具挑戰(zhàn)性：在引入無法回答的問題之后，一個強大的神經(jīng)系統(tǒng)在之前版本的SQuAD上達到86％的準確率，而現(xiàn)在只有66％。

本文的核心思想是什么？

·???????當前的自然語言理解（NLU）系統(tǒng)遠非真正的語言理解，其中一個根本原因是現(xiàn)有的Q＆A數(shù)據(jù)集關注的是在上下文文檔中保證正確答案存在的問題。

·???????要真正具有挑戰(zhàn)性，應該創(chuàng)建無法回答的問題，其中：

?§???它們與支持段落相關;

?§???該段包含一個似是而非的答案，其中包含與問題要求相同類型的信息，但不正確。

什么是關鍵成就？

·???????通過53777個新的無法回答的問題擴展SQuAD，從而構(gòu)建具有挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集，迫使NLU系統(tǒng)學習何時無法根據(jù)上下文回答問題。

·???????通過顯示現(xiàn)有模型66％的準確性，為NLU系統(tǒng)創(chuàng)造新的挑戰(zhàn)。

·???????顯示合理的答案確實可以作為NLU系統(tǒng)的有效干擾者。

AI社區(qū)對其的看法是什么？

·???????該論文被2018年計算語言學協(xié)會（ACL）公布為最佳短篇論文。

·???????新的數(shù)據(jù)集增加了NLU領域的復雜性，實際上可以為該研究領域帶來巨大的績效訓練。

未來的研究領域是什么？

1.開發(fā)“知道他們不知道的東西”的新模型，從而更好地理解自然語言。

可能的商業(yè)應用是什么？

1.在這個新數(shù)據(jù)集上訓練閱讀理解模型應該可以提高他們在現(xiàn)實情況下的表現(xiàn)，而這些情景往往無法直接獲得答案。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的可应用于实际的14个NLP突破性研究成果（三）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。