公眾號關注?“憶語臻言”

設為 “星標”，一起學習進步！

本文介紹ICLR2017的一篇文章，題目為"transfer learning for sequence for sequence tagging with hierarchical recurrent networks"

0、作者和單位

最近具有影響的XLnet也是該文第一作者楊植麟提出。

一、任務

本文系統的研究了序列標注任務中跨語言、跨任務、跨領域的遷移學習問題，是一篇偏分析類的文章。

二、模型

文中提出了三種結構：

1) T-A，是一種用于跨領域的模型，其中共享了所有參數，輸出空間適用于label直接能夠進行相互映射(例如，Genia生物醫學語料庫中的POS標簽可以映射到Penn Treebank標簽)。

我理解的是混合了兩個領域的數據，直接一起訓練，然后能夠用于預測兩個領域的數據。

2) T-B 適用于兩個領域數據label直接不能進行映射的情況，貢獻了底層參數，給每個領域單獨的CRF輸出層訓練，在本文中，跨任務也使用該模型，這也是目前最樸素，最常用的multi-task框架。

3）T-C 用于跨語言，貢獻了其中embedding層的參數，其它參數為語言特定。

這三個結構已經在目前得到了非常廣泛的應用，是一種做跨領域，跨任務的基本baseline。

三、實驗

從上圖可以看出，不管是跨語言，跨任務，跨語言，利用了遷移學習持續的好于沒有使用遷移學習方法。

也跟目前的sota方法進行了對比：

我們能看出兩點：

1）我們的遷移方法幾乎在所有數據集到達了新的sota結果，表明我們方法的有效性

2）我們的基本模型（w/o transfer）的表現也接近之前sota的性能，表明我們能夠在強baseline上進一步取得提高。

這些套話，大家可以學習。

四、貢獻

1、本文設計不同的結構系統的研究了序列標注任務上跨語言，跨領域，跨任務的遷移。

2、為后續序列標注相關的研究打下了基礎。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊AI基礎下載（pdf更新到25集）備注：加入本站微信群或者qq群，請回復“加群”獲取一折本站知識星球優惠券，請回復“知識星球”喜歡文章，點個在看

總結

以上是生活随笔為你收集整理的[论文浅析]ICLR2017 跨语言，跨任务，跨领域序列标注的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。