在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?112?篇文章

作者丨盧靖宇

學校丨西安電子科技大學碩士

研究方向丨自然語言處理

本期推薦的論文筆記來自 PaperWeekly 社區用戶?@hawksilent。本文創造性地將 Bootstrapping 關系提取中的自動選種任務，以及遠程監督關系提取中的降噪任務看成是根據不同的排序標準進行排序的問題，提出了多種兼具自動選種和數據降噪功能的策略。

文章的貢獻主要有以下幾點：

1. 創造性的將關系提取中的自動選種和數據降噪任務轉換成排序問題；

2. 提出多種既可用于 Bootstrapping 關系提取自動選種，又能用于遠程監督關系提取降噪的策略；

3. 在收集自 Wikipedia 和 ClueWeb 的數據集上，通過實驗證實提出的算法的實用性和先進性。

引言

最近閱讀了 Ranking-Based Automatic Seed Selection and Noise Reduction for Weakly Supervised Relation Extraction 這篇文章，該工作來自于 Nara Institute of Science and Technology，發表在 ACL 2018。

這篇文章主要對弱監督關系提取中兩個相關的任務展開研究：

• Bootstrapping 關系提取（Bootstrapping RE）的自動選種任務；

• 遠程監督關系提取（Distantly Supervise RE）的降噪任務。

文章受到 Web 結構挖掘中最具有權威性、使用最廣泛的 Hypertext-induced topic search（HITS）算法，以及 K-means、潛在語義分析（LSA）、非負矩陣分解（NMF）等聚類中心選擇算法的啟發，提出一種能夠從現有資源中選擇初始化種子、并降低遠程標注數據噪聲的算法。

實驗證明，該算法的性能要好于上述兩個任務的基線系統。下面是我對這篇文章的閱讀筆記。

問題引入

Bootstrapping RE 算法是機器學習中一種比較常用的弱監督學習方法。首先，利用一個稱作“seeds”的小實例集合進行初始化，用以表示特定的語義關系；然后，通過在大規模語料庫上迭代獲取實例和模式，以發現與初始化種子相似的實例。該算法性能的主要制約因素在于語義漂移問題，而解決語義漂移問題的一種有效手段就是選擇出高質量的“seeds”。?

Distantly Supervise 技術是一種用于構建大規模關系提取語料庫的有效方法。然而，由于錯誤標注問題的存在，遠程監督獲取的語料常常包含噪聲數據，這些噪聲會對監督學習算法性能造成不良影響。因此，如何降低錯誤標注帶來的數據噪聲，就成為了遠程監督技術的一個研究熱點。

問題轉化

用表示目標關系的集合，每一種目標關系由一個三元組集合 Dr= {(e1, p, e2)}?來表示。其中，e1 和 e2 表示實體，實體對 (e1,e2) 被稱為實例，p 表示連接兩個實體的模式。例如，三元組 (Barack Obama, was born in, Honolulu)，(BarackObama, Honolulu) 表示一個實例，“was born in”表示模式。?

結合上述概念文章將所研究的兩個關系提取任務分別定義如下：?

Bootstrapping RE 的自動選種任務：以目標關系集合為輸入，針對每一個，從由數據集中提取出的三元組集合 Dr 的實例中，選出能使 Bootstrapping RE 算法高效工作的種子。?

Distantly Supervised RE 的降噪任務：從由 DS 自動為每個關系生成的三元組集合?Dr?中，過濾出所包含的噪聲三元組（錯誤標注三元組）。?

由以上兩個任務的描述可以發現，無論是選種還是降噪都是從給定的集合中選出三元組。從排序的角度來看，這兩個任務實質上擁有相似的目標。

因此，文章將這兩個任務分別轉換為：在給定三元組集合 Dr（可能包含噪聲）的情況下，實例 (e1,e2 )的排序任務（選種）和三元組 (e1, p, e2 ) 的排序任務（降噪）。

在選種任務中，使用排名最高的 k 個實例作為 bootstrapping RE 的種子。同理，在降噪任務中，對于 DS 生成的三元組，使用其中排名最高的 k 個三元組來訓練分類器（降噪任務中的 k 值可能遠遠小于選種任務中的 k 值）。

自動選種和降噪算法

文章提出的算法受到了 Hypertext-induced topic search（HITS）算法，以及 K-means、潛在語義分析（LSA）、非負矩陣分解（NMF）等聚類中心選擇算法的啟發。

該算法根據具體的任務來決定是選擇實例還是選擇三元組：實例用于自動選種任務，三元組用于降噪任務。由于實例即為實體對，而實體對又包含在三元組中，因而可以通過實例和三元組之間的轉換，靈活的將提出的方法分別應用到兩個任務中。

基于K-means的算法

文章提出的基于 K-means 的算法具體描述如下：

1. 確定需要選擇的實例/三元組的數目 k；

2. 運行 K-means 聚類算法將輸入的三元組中的所有實例劃分為 k 個簇，每個數據點通過其對應實體間的嵌入向量差來表示。例如，實例 I=(Barack Obama,Honolulu) 對應于 vec(I)=vec("Barack Obama")-vec("Honolulu")；

3. 從每個簇中選出最接近質心的實例。

基于HITS的算法

Hypertext-induced topic search（HITS）算法又稱為 hubs-and-authorities 算法，它是一種廣泛用于對 web 頁面排序的鏈接分析方法。

該算法的基本思想是：利用 Hub 頁面（包含了很多指向 Authority 頁面的鏈接的網頁）和 Authority 頁面（指與某個主題相關的高質量網頁）構成的二部圖，計算每個節點的樞紐度（hubness）得分，然后據此對網頁內容的質量和網頁鏈接的質量做出評價。?

對于第 2 節描述的兩個任務，可通過實例 (e1,e2) 和模式 p 的共生矩陣 A 生成兩者的二部圖，進而即可利用 HITS 算法的思想計算兩者的 hubness 得分。

文章提出的基于 HITS 思想的選種策略描述如下：

1. 確定要選擇的三元組的數目 k；

2. 基于實例-模式的共生矩陣 A 構建實例和模式的二部圖。下圖所示為構建二部圖的三種可能思路。思路一：將每一個實例/模式均作為圖中的一個節點。思路二：將實例和模式分別作為邊和節點。思路三：將實例和模式分別作為節點和邊；

3. 對于思路一和思路三，僅保留 hubness 得分最高的 top k 個實例作為輸出。對于思路二，選擇與得分最高的模式相關聯的 k 個實例作為輸出。

基于HITS和K-means的方法

該方法將 HITS 算法和 K-means 算法組合使用。首先，基于實例和模式的二部圖對這兩者進行排序；然后，在標注數據集上運行 K-means 算法對實例進行聚類。之后，與常規思路不同，這里不選擇距離質心最近的實例，而是選擇每個簇中 HITS 算法 hubness 得分最高的實例。

基于LSA的算法

潛在語義分析（LSA）是一種被廣泛應用的多維數據自動聚類方法，該方法利用奇異值分解（Singular value decomposition，SVD）算法構建實例-模式共生矩陣 A 的等價低秩矩陣。

所謂 SVD，是將矩陣分解為三個矩陣的乘積：SVD 實例矩陣，奇異值對角矩陣，SVD模式矩陣：?

本文提出的基于 LSA 的選種策略具體描述如下：

1. 指定需要的三元組數目 k；

2. 利用 LSA 算法將實例-模式的共生矩陣 A 分解為矩陣 I、S、P。將 LSA 的維度設置為 K=k；

3. 將 LSA 看作軟聚類的一種形式，其中 SVD 實例矩陣 I 的每一列對應一個簇。之后，從矩陣 I 的每一列選出絕對值最高的 k 個實例。

基于NMF的方法

非負矩陣分解（Non-negative matrix factorization，NMK）是另外一種用于近似非負矩陣分解的方法。非負矩陣可以近似表示為和這兩個因子的乘積：?

非負約束（non-negativity constraint）是 NMF 與 LSA 之間的主要區別。與基于 LSA 的方法類似，NMF 算法先將期望選擇的實例數目設置為 K=k。之后，從矩陣 W 的每一列中選出值最大的 k 個實例。

實驗

數據集與設置

文章使用了一個局整關系的標注數據集做為種子選擇的來源。該數據集提取自 Wikipedia 和 ClueWeb。這里，所謂的局整關系并不是指某一種具體的關系，而是指一種類型的關系集合，如下表所示。

表中顯示出了局整關系集中 8 種子關系出現的頻率。數據集中 8 種子關系共有 5727 個標注實例。文章通過使用 Precision@N 來衡量提出的模型性能，其中取 N=50。實驗中 k 的值在區間 [5,50] 內以 5 為步長逐步遞增，對于每個選種方法給出其 P@50 的值。?

在降噪任務中，文章使用由 (Riedel et al., 2010) 開發的訓練集和測試集，該數據集是通過將 Freebase 關系與紐約時報語料庫對齊而生成的，包含53 種關系類型。在使用提出的方法從數據集中濾除噪聲三元組之后，文章使用過濾后的數據對兩種卷積神經網絡模型（CNN）進行了訓練：一種是 (Zeng et al., 2014) 提出的 CNN 模型，一種是 (Zeng et al., 2015) 提出的 PCNN 模型。?

表中顯示出了局整關系集中 8 種子關系出現的頻率。數據集中 8 種子關系共有 5727 個標注實例。文章通過使用 Precision@N 來衡量提出的模型性能，其中取 N=50。實驗中 k 的值在區間 [5,50] 內以 5 為步長逐步遞增，對于每個選種方法給出其 P@50 的值。?

在降噪任務中，文章使用由 (Riedel et al., 2010) 開發的訓練集和測試集，該數據集是通過將 Freebase 關系與紐約時報語料庫對齊而生成的，包含 53 種關系類型。在使用提出的方法從數據集中濾除噪聲三元組之后，文章使用過濾后的數據對兩種卷積神經網絡模型（CNN）進行了訓練：一種是 (Zeng et al., 2014) 提出的 CNN 模型，一種是 (Zeng et al., 2015) 提出的 PCNN 模型。

自動選種算法性能

選種算法的實驗結果如下表所示。對于基于 HITS 的算法和基于 HITS＋K-means 的算法，文章給出了相應的 P@50（分別采用 3.2 節介紹的三種構圖思路），實驗中使用隨機種子選擇做為對比基線。

觀察實驗結果發現，隨機選種性能最差，為 0.75；基于 HITS 的策略、基于 LSA 的策略和基于 NMF 的策略，三種算法性能相當，都超過了基線算法；對于基于 HITS 的策略，三種不同的構圖思路中，思路一和思路三性能提升明顯，思路二性能雖有提升但效果明顯低于其他兩種策略；將 HITS 策略（構圖思路分別采用思路一和思路三）與 K-means 算法結合得到的性能在提出的算法中最佳。

HITS 策略中思路二效果不佳的原因在于：一個模式可能含有歧義，因而鏈接到該模式的實例可能并不與其匹配，這說明依靠實例選種要好于依靠模式選種。

降噪算法性能

在降噪實驗中，文章分別采用基于 HITS、LSA 和 NMF 的算法，下表為各算法對于 CNN 和 PCNN 模型帶來的性能提升。表中最右邊一列為集成算法的性能，該方法結合基于 HITS 和基于 LSA 的策略，其中，一半的三元組來自基于 HITS 的算法，另一半三元組來自基于 LSA 的算法。

觀察實驗結果發現，基于 HITS 的策略表現最為穩定，對于四種模型都能提升其性能；基于 LSA 的策略，與注意力機制（無論模型是 CNN 還是 PCNN）結合使用時性能提升明顯，但與多實例學習算法結合使用則效果變差，甚至還要低于原始模型；基于 NMF 的策略，對于 PCNN 模型（無論采用多實例學習還是注意力機制）能帶來明顯的性能提升，但對于 CNN 模型性能改善不明顯；將基于 HITS 的策略和基于 LSA 的策略集成使用，則對于四種模型不但表現穩定，且性能提升效果也十分明顯。

總結

文章創造性地將關系提取中的自動選種和數據降噪這兩個重要任務轉換為排序問題。然后，借鑒 HITS、K-means、LSA 和 NMF 等傳統算法策略，按照對實例-模式三元組排序的思路，構建出了兼具自動選種和數據降噪功能的算法。實驗結果顯示，文章提出的算法能夠有效完成自動選種和數據降噪任務，并且其性能同基線算法相比也有較大提升。

這篇文章的啟發作用在于：對于關系提取中的不同子任務通過問題轉換歸結為本質相同的同一問題，而后借鑒已有的成熟算法設計出可以通用的解決策略。這種思路上的開拓創新能否應用于其他 NLP 任務，是一個值得思考和探索的方向。

參考文獻

[1] Sebastian Riedel, Limin Yao, and Andrew McCallum. 2010. Modeling relations and their mentions without labeled text. In Proceedings of the 2010 Joint European Conference on Machine Learning and Principles of Knowledge Discovery in Databases (ECML PKDD), pages 148–163. Springer.?

[2] Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou, and Jun Zhao. 2014. Relation classification via convolutional deep neural network. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pages 2335–2344. Dublin City University and Association for Computational Linguistics.?

[3] Daojian Zeng, Kang Liu, Yubo Chen, and Jun Zhao.2015. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1753–1762. Association for Computational Linguistics.

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

點擊標題查看更多論文解讀：?

• 在全景視頻中預測頭部運動：一種深度強化學習方法

• 網絡表示學習綜述：一文理解Network Embedding

• 神經網絡架構搜索（NAS）綜述

• 從傅里葉分析角度解讀深度學習的泛化能力
  

• 深度解讀DeepMind新作：史上最強GAN圖像生成器

• ACL2018高分論文：混合高斯隱向量文法

• 自然語言處理中的語言模型預訓練方法

• EMNLP 2018論文解讀 | 對話生成 & 文本風格轉化

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？?答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的ACL 2018论文解读 | 基于排序思想的弱监督关系抽取选种与降噪算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。