?PaperWeekly 原創(chuàng) ·?作者｜金金

單位｜阿里巴巴研究實(shí)習(xí)生

研究方向｜推薦系統(tǒng)

論文標(biāo)題：

Graph-based Hierarchical Relevance Matching Signals for Ad-hoc Retrieval

論文來源：

WWW 2021

論文鏈接：

https://arxiv.org/abs/2102.11127

簡介

本文由中科院發(fā)表于 WWW 2021。ad-hoc retrieval 是根據(jù)查詢和文檔集合對(duì)相關(guān)文檔進(jìn)行排名。研究界已經(jīng)提出了一系列基于深度學(xué)習(xí)的方法來解決該問題。

但是，本文作者認(rèn)為它們忽略了長距離文檔級(jí)單詞關(guān)系。為了解決該問題，作者通過圖結(jié)構(gòu)顯式地建立文檔級(jí)單詞關(guān)系的模型，并通過圖神經(jīng)網(wǎng)絡(luò)捕獲信息。

另外，由于文檔收集的復(fù)雜性和規(guī)模，探索不同粒度的層次匹配信號(hào)是相當(dāng)重要的。因此，作者提出了一種基于圖的分層相關(guān)性匹配模型（GHRM），通過該模型可以同時(shí)捕獲細(xì)微和通用的分層匹配信號(hào)。作在兩個(gè)代表性的 ad-hoc retrieval 數(shù)據(jù)集驗(yàn)證了 GHRM 的有效性。

模型

本文大致的思想是在匹配的過程中，大部分的模型沒有考慮長距離單詞關(guān)系和不同粒度的相關(guān)信息。所以作者總結(jié)了如下的匹配流程：首先根據(jù) query-document 的匹配，建立 word-word 的圖，從而建立長距離的單詞關(guān)系；在此基礎(chǔ)上對(duì)于每個(gè)部分選擇中心詞，并去除不重要的詞，從而考慮不同粒度的相關(guān)信息。

基于這樣的思想，作者構(gòu)造了如下模型，該模型主要包括三個(gè)部分：第一部分是圖的構(gòu)造；第二部分是基于圖的分級(jí)匹配；第三部分是相關(guān)信號(hào)的讀出和聚合。

第一部分圖的聚合，作者將每個(gè) document word 作為一個(gè)節(jié)點(diǎn)，并將他們分別和 query term 計(jì)算余弦相似度，作為節(jié)點(diǎn)特征向量，并使用固定大小的滑動(dòng)窗口，統(tǒng)計(jì) word-word 的共現(xiàn)次數(shù)構(gòu)建鄰接矩陣。

第二部分分級(jí)匹配，作者首先使用類似于 GRU 的圖神經(jīng)網(wǎng)絡(luò)更新節(jié)點(diǎn)的表示，在此基礎(chǔ)上添加了作者自定義的 pooling 層，每次通過 GNN 層后，作者使用 attention 層計(jì)算每個(gè)節(jié)點(diǎn)的注意力分?jǐn)?shù)，并通過 hard-pooling（保留固定比例的節(jié)點(diǎn)）和 soft-pooling（根據(jù)注意力分?jǐn)?shù)保留每個(gè)節(jié)點(diǎn)的部分特征分?jǐn)?shù)）兩種方式篩選重要的節(jié)點(diǎn)。

第三部分相關(guān)信號(hào)讀出和聚合，作者對(duì)每張圖中的節(jié)點(diǎn)選擇 top-k 的特征，并將其拼接后通過前饋神經(jīng)網(wǎng)絡(luò)，最后使用 query term 的 idf 值通過 softmax 后的數(shù)值作為權(quán)重，計(jì)算最后的匹配分?jǐn)?shù)。

訓(xùn)練階段，作者采用了信息檢索中較為普遍的 pair-wise learning，即每次選取一個(gè)正樣本和一個(gè)負(fù)樣本，使模型盡可能計(jì)算得到的正樣本分?jǐn)?shù)大于負(fù)樣本分?jǐn)?shù)。

實(shí)驗(yàn)

本文實(shí)驗(yàn)在 Robust 和 Clueweb09 上進(jìn)行，通過和已有的傳統(tǒng)式檢索模型（如BM25），神經(jīng)信息檢索模型（如 Co-PACRR）和基于 BERT 的模型（如 BERT-MaxP）進(jìn)行對(duì)比，我們可以發(fā)現(xiàn)提出的基于圖神經(jīng)網(wǎng)絡(luò)的分級(jí)匹配模型的效果均優(yōu)于上述模型。

結(jié)論

在本文中，作者介紹了一種基于圖的分層相關(guān)性匹配方法 GHRM，通過利用層次圖神經(jīng)網(wǎng)絡(luò)對(duì)不同粒度的匹配信號(hào)進(jìn)行建模，我們可以準(zhǔn)確地捕獲細(xì)微和通用的層次交互匹配信號(hào)。在兩個(gè)代表性的 ad-hoc retrieval 數(shù)據(jù)集上的實(shí)驗(yàn)證明了 GHRM 在各種基準(zhǔn)上的有效性，這驗(yàn)證了將基于圖的層次結(jié)構(gòu)匹配信號(hào)應(yīng)用于 ad-hoc retrieval 的優(yōu)勢。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的WWW 2021｜基于图神经网络的分级相关性匹配的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。