论文浅尝 | emrKBQA: 一个面向临床医疗问答的KBQA数据集
筆記整理 |? 譚亦鳴,東南大學(xué)博士生
來(lái)源:BioNLP ’21 workshop, ACL ‘21
鏈接:https://www.aclweb.org/anthology/2021.bionlp-1.7.pdf
論文主要包含兩個(gè)部分的核心工作:emrKBQA數(shù)據(jù)集,對(duì)應(yīng)的benchmark。基于MIMIC-III KB,本文提出了一個(gè)面向臨床醫(yī)療問(wèn)答的KBQA數(shù)據(jù)集,emrKBQA,規(guī)模約為940K,包含389種提問(wèn)類(lèi)型,每種類(lèi)型有約7.5種復(fù)述表達(dá)。為了驗(yàn)證數(shù)據(jù)集的質(zhì)量,作者建立了一個(gè)benchmark,其模型流程可以大體描述為:通過(guò)語(yǔ)義解析預(yù)測(cè)問(wèn)題邏輯結(jié)構(gòu),而后借助邏輯結(jié)構(gòu)構(gòu)建SQL查詢(xún)指向答案。
貢獻(xiàn)
論文建立了emrKBQA,第一個(gè)面向結(jié)構(gòu)化病歷記錄的大規(guī)模社區(qū)共享問(wèn)答數(shù)據(jù)集
數(shù)據(jù)集能夠用于建模,解決基于結(jié)構(gòu)化HER的問(wèn)題解析及問(wèn)答
作者為基于結(jié)構(gòu)化病歷記錄的問(wèn)答數(shù)據(jù)集建立了benchmark
背景與動(dòng)機(jī)
電子病歷EHRs和臨床記錄Clinics note在醫(yī)療過(guò)程中常常被作為臨床診斷決策的支撐材料,因此,使機(jī)器理解和學(xué)習(xí)這些資料用于臨床決策輔助是一個(gè)明確的未來(lái)趨勢(shì)。
在以往的研究中,基于臨床記錄的emrQA問(wèn)答數(shù)據(jù)集(2018)被提出,通過(guò)一個(gè)半自動(dòng)的問(wèn)題生成過(guò)程,這個(gè)數(shù)據(jù)集涵蓋接近1M的問(wèn)答對(duì)以及問(wèn)題-邏輯結(jié)構(gòu)對(duì)。
但是emrQA僅僅是利用到了臨床記錄這一資源,而沒(méi)有充分利用EHRs,作者認(rèn)為,一個(gè)完整的臨床醫(yī)療問(wèn)答系統(tǒng)應(yīng)該同時(shí)利用好上述這兩個(gè)資源。
因此,本文作者提出emrKBQA用于補(bǔ)充這一空白。
MIMIC-III KB被用作emrKBQA的知識(shí)庫(kù)資源,如圖1所示,左側(cè)列出了該數(shù)據(jù)集中一些問(wèn)題(和復(fù)述)的例子,右側(cè)則是知識(shí)庫(kù)里的答案形式。
數(shù)據(jù)集構(gòu)建
根據(jù)論文的描述,emrKBQA的建立過(guò)程可以描述為以下步驟(半自動(dòng),如圖4):
1.從emrQA獲取初始問(wèn)題
2.從初始問(wèn)題中挖空(使用slot替換原本的實(shí)體,slot放置該實(shí)體對(duì)應(yīng)的類(lèi)別標(biāo)簽)形成模板template(提問(wèn)形式)
3.醫(yī)療專(zhuān)家參與實(shí)體類(lèi)別歸納
4.構(gòu)建提問(wèn)類(lèi)型的邏輯形式
5.歸并具有相同邏輯形式的提問(wèn)形式(互為復(fù)述)
6.向template中填入合適的實(shí)體,得到問(wèn)題/復(fù)述
這里作者根據(jù)答案的特點(diǎn)將問(wèn)題類(lèi)型分為三種:事實(shí),是非和時(shí)間,實(shí)際問(wèn)題中可能同時(shí)涵蓋這三類(lèi)中的一個(gè)或多個(gè)。
圖2列出了:各實(shí)體大類(lèi)中問(wèn)題類(lèi)型的分布情況
生成的問(wèn)題如表1所示:
問(wèn)題-邏輯形式-問(wèn)題類(lèi)型-答案類(lèi)型如表2所示:
任務(wù)定義和模型
作者明確給出了本數(shù)據(jù)集對(duì)應(yīng)的任務(wù)定義:
建模,對(duì)輸入的知識(shí)庫(kù)相關(guān)的問(wèn)題,給出對(duì)應(yīng)的答案
模型分為兩個(gè)過(guò)程:
1.語(yǔ)義解析->邏輯結(jié)構(gòu)
參照Gu et al, 2016的工作建立了一個(gè)seq2seq模型
2.邏輯結(jié)構(gòu)->答案
具體為一組連續(xù)的映射構(gòu)建(基于序列相似性得到):
問(wèn)題->Template->SQL template->logical form
評(píng)價(jià)方式包含兩個(gè):
1.語(yǔ)義解析過(guò)程使用EM(Exact Match),即模型輸出與標(biāo)注結(jié)果相同算正例
2.答案生成過(guò)程使用Denotation Accuracy,即答案和邏輯結(jié)構(gòu)均與標(biāo)注結(jié)果相同算正例
實(shí)驗(yàn)結(jié)果如表3所示
作者進(jìn)一步做了一些錯(cuò)誤分析,如下表:
?
OpenKG
OpenKG(中文開(kāi)放知識(shí)圖譜)旨在推動(dòng)以中文為核心的知識(shí)圖譜數(shù)據(jù)的開(kāi)放、互聯(lián)及眾包,并促進(jìn)知識(shí)圖譜算法、工具及平臺(tái)的開(kāi)源開(kāi)放。
點(diǎn)擊閱讀原文,進(jìn)入 OpenKG 網(wǎng)站。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | emrKBQA: 一个面向临床医疗问答的KBQA数据集的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 征文 | 2022年全国知识图谱与语义计
- 下一篇: 图谱实战 | 安全领域知识图谱建设与典型