在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?125?篇文章

作者丨姜松浩

學校丨中國科學院計算技術研究所碩士生

研究方向丨機器學習、數據挖掘

語言的表示是自然語言處理中的基礎問題也是重要問題，常見的分布式詞向量 Word2Vector、Glove 等方法令很多 NLP 研究者和從業人員都受用無窮。然而現有的方法同樣存在這諸多問題，本文通過不同顆粒度的有監督語言聯合訓練方式，實現端到端的語言表示來完成自然語言處理中的常見任務，這種方式具有更強的魯棒性。

本文是劍橋大學和哥本哈根大學發表于 AAAI 2019 的工作，該方法采用分層次、分階段獲取重要特征的結構來實現不同顆粒度的語言表示學習的方法，并通過規定一些合理有效的目標函數來實現有監督聯合訓練的目的。

模型介紹

論文作者將其發表于 NAACL 2018 的論文模型?Zero-shot sequence labeling: Transferring knowledge from sentences to tokens?[1] 進行改進的最新研究成果。

模型結構

該模型如下所示，其將作者發表于 NAACL 2018 的模型 [1] 由單層結構改為多層結構，從模型結構來看與文本分類模型 HAN [2] 有一定的相似度，但在細節上卻有不同的變化。

從整體看可以將模型為兩個部分。首先，將詞匯轉化為字符級利用雙向 LSTM 模型得到相應的詞向量特征 m，然后將特征 m 與預訓練（pre-train）詞向量 w 進行矩陣的拼接處理得到更具魯棒性和適應性的詞向量 x；然后再將上一階段得到的詞向量 x 同樣再次利用雙向 LSTM 獲得向量 h；最后再利用 self-attention 的方式獲得詞匯權重。

其方法上與 HAN [2] 如出一轍，該方法目的在于為針對不同任務具有不同重要性的單位詞匯分配不同權重，再通過不同權重的詞向量組合得到相應的句向量表示結果 s。?

該文章的亮點在于提出了幾種有特點的目標函數（損失函數）來實現有監督聯合訓練方式。其中一個就是如下所示的函數，被作者定義為語句級別的目的函數。

該目的函數采用平方損失函數，其中上標 y 表示句向量 s 的帶 Sigmoid 激活函數的全連接計算預測結果，而 y 表示為有標注的實際結果。作者選用 Sigmoid 激活函數的目的是進行語句二分類，當然對于不同的多分類任務，也可以將激活函數拓展為其他。

有監督的注意力機制

與以往的端到端聯合訓練的注意力機制不同，作者為得到更好的詞匯注意力權重，提出了有監督的注意力方式，該方式利用詞匯標注，其函數表示如下所示。

該函數同樣采用平方損失，其中上標 a 表示為模型預測的注意力權重，而 a 表示為標注的注意力權重即 1 或者 0。作者將其定義為詞匯級別的損失函數。

語言模型的目標函數

作者為實現模型對自然語言處理的其他任務的特征表示的魯棒性，加入了語言模型的目的函數，其函數如下所示。

目標函數中，定義了 LSTM 中第 i 個詞匯的前向向量 q 對于第 i+1 詞的條件概率的 log 損失，以及第 i 個詞匯的前向向量?q 對于第 i-1 詞的條件概率的 log 損失。對于詞匯的條件概率計算過程如下公式所示。

字符級語言模型的目標函數

字符級的語言模型目標函數如下所示，該函數與上述語言模型目標函數的總體目的是一致的，但在詞匯預測的條件概率計算方式上略有不同。

字符級語言模型，利用第 i-1 詞中的字符基于 LSTM 得到的前向與后向向量，以及第 i+1 詞中的字符前向后向向量構成的預測向量 g 來預測第 i 個詞匯。其計算過程如下所示。

控制注意力權重表示范圍的目標函數

該目標函數目的在于實現注意力權重的合理分配，該方法的提出基于兩種假設：?

1. 一句話中只有部分詞匯（token）具有積極作用；

2. 對于有積極作用的詞匯而言，是在整句的全局作用中具有全局作用。

因此基于上述兩種假設，作者提出了控制注意力權重表示范圍的目標函數，函數如下所示。

該函數的目的是將無效詞匯的注意力權重逐漸趨近于 0，而重要詞匯的權重則趨近于 1。

模型聯合訓練的目標函數定義

為實現不同顆粒度語言特征的端到端表示的聯合訓練，將目標函數定義如下。

該函數定義了超參數，其作用是對于自然語言處理中的不同任務分配不同的目標權重來更好地完成任務。例如將語句的損失函數參數定義為 1 其他為 0 時可用于語句分類。

模型實驗效果

作者通過對文本分類和情感分析等經典數據集的實驗結果測試得出結論，該文中提出的聯合方法效果最佳。實驗結果如下所示，其中 BiLSTM-LAST [3-4] 是常見的雙向 LSTM 的方法，BiLSTM-ATTN 即為 HAN [2]。

此外由于詞匯標注的人工成本極高，為達到良好效果，文章中實驗發現僅需 20% 的詞匯標注就能遠超沒有標注過的樣本訓練結果。同時發現當超過 20% 樣本的詞匯標注時，其變化與 20% 左右的樣本詞匯標注效果差距并不明顯。

論文評價

這篇論文的模型結構無大創新，但其在定義目標函數上有極強的創造性。本文作者對模型中的每個細節理解到位，并且為了模型發揮到極致，將其與有監督的目標函數相結合，這種做法值得學習。

然而文中提到的部分目標函數與人工標注相關聯，盡管作者通過實驗認為 20% 的標注就能達到很好的效果，但這同樣增加了人工成本。

參考文獻

[1] Rei, M., and S?gaard, A. 2018. Zero-shot sequence labeling: Transferring knowledge from sentences to tokens. NAACL-HLT.?

[2] Yang, Z.; Yang, D.; Dyer, C.; He, X.; Smola, A.; and Hovy, E. 2016. Hierarchical Attention Networks for Document Classification. AACL:HLT.?

[3] Tang, D.; Qin, B.; and Liu, T. 2015. Document modeling with gated recurrent neural network for sentiment classification. EMNLP.?

[4] Neelakantan, A.; Le, Q. V.; and Sutskever, I. 2016. Neural programmer: Inducing latent programs with gradient descent. ICLR.

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

點擊標題查看更多論文解讀：?

• 自動機器學習（AutoML）最新綜述

• 自然語言處理中的語言模型預訓練方法

• 從傅里葉分析角度解讀深度學習的泛化能力

• 兩行代碼玩轉Google BERT句向量詞向量

• 近期知識圖譜頂會論文推薦，你都讀過哪幾篇？

• TensorSpace：超酷炫3D神經網絡可視化框架

• 深度長文：NLP的巨人肩膀（上）

• NLP的巨人肩膀（下）：從CoVe到BERT
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文 & 源碼

總結

以上是生活随笔為你收集整理的AAAI 2019 | 基于不同颗粒度语言联合训练的表示学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。