模型包含預訓練和微調兩個步驟：在預訓練階段，對不同訓練任務的未標記數據進行訓練。在微調階段，首先用預訓練參數初始化BERT模型，然后，使用來自下游任務的標記數據對預訓練的參數進行微調。
BERT是一個多層的雙向Transformer，輸入包括三個部分，分別為詞向量、單詞所屬句子向量和單詞的位置向量，形象的表示如下圖所示，其中[CLS]和[SEP]是放在每個輸入最前和用戶分隔句子的特殊符號。
文章提出兩種無監督任務來預訓練BERT，分別是屏蔽語言模型（Masked Language Model, MLM）和下句預測模型（Next Sentence Prediction, NSP）：MLM通過屏蔽一句話中部分詞然后讓模型來預測屏蔽詞來訓練模型。在實驗設置中，大約15%的詞被隨機屏蔽。但是這樣的訓練方法也有缺陷，屏蔽詞相當于從數據集中抹去，且可能預訓練階段與微調階段不一致。因此，對于屏蔽詞有如下三種處理方式：80%用[MASK]替換，10%用隨機的詞語替換，另外10%不做改變。NSP任務是為了增強模型對句子間關系的理解能力，訓練時選擇的句對A、B中，B有50%的概率真的是A的下一句，50%的概率不是A的下一句。預訓練語料使用BooksCorpus和英語維基百科的文本段落。

模型微調測試了11個自然語言處理任務上的效果，包括General Language Understanding Evaluation(GLUE)基準測試集中的8項評測、SQuAD 1.1和SQuAD 2.0兩個閱讀理解數據集和Situations With Adversarial Generations (SWAG)數據集。BERT均穩定優于基線方法，下表展示了GLUE上的對比結果。

文章提出的BERT模型在11項自然語言處理任務上取得了最先進的效果。由語言模型轉移學習帶來的模型效果改進表明，豐富的、無監督的預訓練是許多語言理解系統的組成部分。特別地，即使是資源匱乏的任務也可以從深層的單向架構中獲益。文章主要貢獻是進一步將這些發現推廣到深層的雙向架構，允許相同的預訓練模型成功地應用于廣泛的NLP任務。

Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics

https://link.springer.com/chapter/10.1007/978-981-32-9748-7_3

首先，將觀察到的目標句編碼為潛在的源句（圖中藍色箭頭的過程）。然后，使用源到源的翻譯模型，對源句進行譯碼（圖中黃色箭頭的過程），利用源到目標的模型重構所觀察到的目標句。

用文章的方法和最先進的SMT和NMT方法進行比較，實驗結果圖如下：

文章提出了一種訓練神經機器翻譯模型的半監督方法。其核心思想是在單語語料庫上引入自動編碼器，采用源對目標和目標對源的翻譯模型作為編碼器和譯碼器。在漢英NIST數據集上的實驗表明，與最先進的SMT和NMT方法進行，該方法帶來了顯著的改善。

Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. 2018

https://arxiv.org/abs/1806.03822

文章評估了三種現有的模型架構在兩個數據集上的表現，讓這些模型不僅去學習答案的分布，而且也去預測一個問題是不可回答問題的概率。當模型預測某個問題無法回答的概率超過某個閾值時，模型就放棄學習答案分布。下表展示了三個模型在兩個數據集（SQuAD 1.1和SQuAD 2.0）上的表現，結果顯示：

表現最好的模型（DocQA + ELMo）在SQuAD 2.0上與人類仍有23.2的差距，意味著模型有很大的改進空間；
在兩個數據集上運用相同模型架構，相比于SQuAD1.1，最優模型和人的F1值差距在SQuAD 2.0上更大，說明對現有模型來說SQuAD 2.0是一個更難學習的數據。

文章在SQuAD 1.1數據集上利用TFIDF和規則隨機生成了一些難以回答的問題，仍采用相同的模型進行對比。結果顯示（如下表）最好的模型還是在SQuAD 2.0數據集上表現最低，再次證明了SQuAD 2.0對現有的語言理解模型來說是一個有難度的挑戰。

文章證明了SQuAD 2.0是一個具有挑戰性的、多樣化的、大規模的數據集，它迫使模型去學習什么情況下一個問題在給定的環境中是無法回答的。我們有理由相信，SQuAD 2.0將會促進新的閱讀理解模型的發展，這些模型能夠知道他們不知道的東西是什么，從而能在更深層次上理解語言文字。

Proceedings of the International Conference on Learning Representations (ICLR). 2019

https://arxiv.org/abs/1804.07461

文章設計了一個通用語言理解評估基準（General Language Understanding Evaluation, GLUE)，它包含一組NLU任務，包括問答系統、情感分析和文本蘊涵，以及一個用于模型評估、比較和分析的在線平臺。GLUE傾向于讓模型在任務之間共享一般的語言知識。GLUE還提供了一個人工設計的測試集（診斷集），可以對模型進行詳細的分析。

為了評測這個GLUE評估基準，文章在公共數據集上評估了句子表示的baseline和最優模型，下表展示了數據集的任務表述和相關的統計信息。數據集的任務表述和統計信息如上表所示。

結果顯示如下表所示，針對所有任務的多任務訓練比針對每個任務單獨訓練模型的效果更好。然而，最佳模型的低性能表明模型仍存在改進空間。

首先，文章實現了一個通用語言理解評估基準（GLUE基準），包含9個句子或句對的NLU任務。所有任務建立在帶標注的數據集上，數據集覆蓋了各種文本類型、不同數據規模和不同難度系數。其次，建立了一個主要基于私有評測數據的在線模型評估平臺。該平臺與模型無關，并且可以評估任何能夠在所有9個任務上產生結果的模型。然后，文章還構建了專門的診斷評價數據集，以用作誤差分析、模型的定性比較以及對抗性數據的補充。最后，文章實驗了句子表示學習的幾種主要現有方法的結果。

Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing

?

文章設計了一個高效的利用語言信息有效執行端到端語義角色標注任務的神經網絡模型。該模型融合了神經網絡的注意力機制預測句法依賴關系，并在4個相關任務上進行了多任務學習。下圖（左）是模型結構：詞向量輸入到具有多頭注意力機制的J層，在p層訓練自注意力機制去關注父節點的語義信息。P層的詳細操作見下圖（右）。

具體地，模型的基礎是一個多頭自注意力機制的token編碼，基于ELMo預訓練得到的token表示結合一個由正弦函數確定的位置編碼向量學習H個注意頭，拼接后組成每個token的最終自注意力表示。句法信息的自注意力機制將注意力中的key、value和query均增加語義解析信息，其中key、value分別對應父節點和依賴關系。最后，共享模型中較低層的參數來預測POS詞性標記和謂詞。

文章把LISA模型和四個先進的基線方法比較，下表的結果顯示，未加入語義信息的模型已經實現了現有的最優模型性能（如紅框所示），當LISA加入自己的語義解析時模型性能并沒有很大的提升（如綠框所示），但當再加入了目前最優的D&M語義解析以后，模型性能有了較大的提升。Gold表示加入了最優的語義解析，以期模型能有更好的表現。

文章提出了一種多任務神經網絡模型，該模型有效地融合了豐富的語言信息用于語義角色標注。通過一系列實驗證明了LISA的性能優于最先進的現有模型。具體實驗結果：在CoNLL-2005SRL數據集上，LISA模型在謂詞預測、詞嵌入任務上比當前最好的算法在F1值上高出了2.5（新聞專線數據）和3.5以上（其他領域數據），減少了約10%的錯誤。在ConLL-2012英文角色標記任務上，該方法也獲得了2.5F1值的提升。LISA同時也比當前最好的基于上下文的詞表示學習方法（ELMo）高出了1.0的F1（新聞專線數據）和多于2.0的F1值（其他領域數據）。

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019

https://arxiv.org/abs/1902.08646

質量評估(Quality Estimation，QE)提供了機器翻譯和人工翻譯之間缺失的一環，目標是在沒有參考譯文的情況下評估翻譯系統的質量。句子級的質量評估旨在預測整個翻譯句子的質量，如基于人后期編輯所花費的時間，或者修改它需要的編輯操作數。單詞級別質量評估的目標是給機器翻譯的每個詞、單詞之間的間隙（根據上下文需要插入的）和源語言單詞(原句中被錯譯或省略的單詞)分配質量標簽。下圖是一個單詞級標注示例。

文章研發的OpenKiwi（https://github. com/Unbabel/OpenKiwi）實現和集成了WMT 2015-18質量評估比賽的獲獎系統，且允許輕松地添加和運行新模型，而不需要過多地關注輸入數據處理、輸出生成和評估。OpenKiwi基于PyTorch深度學習框架實現，可以單獨運行或通過API集成到其他項目。此外，OpenKiwi提供了根據WMT2018數據的預訓練模型，并支持根據新數據訓練新QE模型。

文章對該框架進行了基準測試，使用了WMT 2018質量評估比賽的數據集，結果顯示，這些系統的集成版本表現最好，堆疊的架構在預測單詞級標簽方面非常有效。文章還比較了另一個現有的開源工具deepQuest，在單詞級和句子級均獲得更優的表現。

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.（2019）.

https://arxiv.org/abs/1906.02448

Nanjiang Jiang, Marie-Catherine de Marneffe

Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. 2019.

https://www.aclweb.org/anthology/P19-1412/

當一個演講者問“你知道佛羅倫薩擠滿了游客嗎”時，我們可能會相信，但如果她問的是“你認為佛羅倫薩擠滿了游客嗎”，我們可能就不會相信了。推斷說話者承諾（或稱事件真實性）對于信息抽取和問答均至關重要。對說話者承諾的預測，是判斷說話者在句子中對某一事件承諾到何種程度，是實際的、非實際的還是不確定的。本篇文章通過在數據集上分析模型誤差的語言相關性，來探討語言缺陷會導致說話者承諾模型出現錯誤模式的假設。

評估數據集選取的CommitmentBank包含1200條數據，涉及四種包含時態嵌入動詞的取消蘊涵環境(否定句、情態動詞、疑問句、條件句)。對于每條數據，從Mechanical Turk尋找至少8個母語為英語的人標注其說話者承諾。

文章評估了兩種最先進的說話者承諾模型：Stanovsky等人提出的基于規則的方法和Rudinger等人提出的神經網絡方法，結果顯示基于規則的模型表現得更好，但整體表現均不是很好，因為CommitmentBank與其他任何數據集相比，其相關性更低，絕對錯誤率更高。