賣萌屋今日學術精選

這篇論文展示了信息檢索可以用一個Transformer來完成，其中，關于語料庫的所有信息都被編碼在Transformer模型的參數中。

論文標題：
Transformer Memory as a Differentiable Search Index
鏈接：
https://arxiv.org/abs/2202.06991

作者提出了可微搜索索引（Differentiable Search Index，DSI)的概念，這是一種新的搜索范式，它可以學習出一個Query-to-DocID的文本檢索模型，將用戶Query直接映射到相關的DocID節點上；換句話說，DSI模型直接使用其模型參數來回答用戶查詢，極大地簡化了整個檢索過程。

上圖展示了經典的雙塔模型（Dual Encoder）+最大內積檢索（MIPS）的經典檢索范式，與本文提出的可微搜索索引（DSI）的范式的區別。后者統一了模型的訓練與檢索。

實驗結果

首先作者在不同規模的NQ數據集上，檢驗了DSI模型的supervised learning能力。

從上表可以看到，DSI模型經過finetune之后，強勢吊打了BM25基線和同樣finetune之后的T5模型。

此外，作者還在NQ數據集上檢驗了DSI模型的zero-shot能力。

眾所周知，BM25是zero shot方面非常高的一個基線，從上表可以看出，DSI的zero shot能力也顯著優于BM25。

實驗表明，給定適當的設計選擇，DSI不僅顯著優于雙塔模型為代表的強基線模型，此外，DSI展示了很強的泛化能力，在zero-shot實驗中顯著優于BM25基線。

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的别再双塔了！谷歌提出DSI索引，检索效果吊打双塔，零样本超BM25！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。