论文浅尝 | Interaction Embeddings for Prediction and Explanation
本文是我們與蘇黎世大學(xué)合作的工作,將發(fā)表于WSDM2019,這篇工作在知識圖譜的表示學(xué)習(xí)中考慮了實(shí)體和關(guān)系的交叉交互,并且從預(yù)測準(zhǔn)確性和可解釋性兩個方面評估了表示學(xué)習(xí)結(jié)果的好壞。
?
給定知識圖譜和一個要預(yù)測的三元組的頭實(shí)體和關(guān)系,在預(yù)測尾實(shí)體的過程中,頭實(shí)體和關(guān)系之間是有交叉交互的crossoverinteraction, 即關(guān)系決定了在預(yù)測的過程中哪些頭實(shí)體的信息是有用的,而對預(yù)測有用的頭實(shí)體的信息又決定了采用什么邏輯去推理出尾實(shí)體,文中通過一個模擬的知識圖譜進(jìn)行了說明如下圖所示:
基于對頭實(shí)體和關(guān)系之間交叉交互的觀察,本文提出了一個新的知識圖譜表示學(xué)習(xí)模型CrossE. CrossE除了學(xué)習(xí)實(shí)體和關(guān)系的向量表示,同時還學(xué)習(xí)了一個交互矩陣C,C與關(guān)系相關(guān),并且用于生成實(shí)體和關(guān)系經(jīng)過交互之后的向量表示,所以在CrossE中實(shí)體和關(guān)系不僅僅有通用向量表示,同時還有很多交互向量表示。CrossE核心想法如下圖:
在CrossE中,頭實(shí)體的向量首先和交互矩陣作用生成頭實(shí)體的交互表示,然后頭實(shí)體的交互表示和關(guān)系作用生成關(guān)系的交互表示,最后頭實(shí)體的交互表示和關(guān)系的交互表示參與到具體的三元組計(jì)算過程。對于一個三元組的計(jì)算過程展開如下:
實(shí)驗(yàn)中本文首先用鏈接預(yù)測的效果衡量了表示學(xué)習(xí)的效果,實(shí)驗(yàn)采用了三個數(shù)據(jù)集WN18, FB15k,FB15k-237, 實(shí)驗(yàn)結(jié)果如下:
從實(shí)驗(yàn)結(jié)果中我們可以看出,CrossE實(shí)現(xiàn)了較好的鏈接預(yù)測結(jié)果。我們?nèi)コ?/span>CrossE中的頭實(shí)體和關(guān)系的交叉交互,構(gòu)造了模型 CrossES,CrossE 和 CrossES 的比較說明了交叉交互的有效性。
?
除了鏈接預(yù)測,我們還從一個新的角度評估了表示學(xué)習(xí)的效果,即可解釋性。我們提出了一種基于相似結(jié)構(gòu)通過知識圖譜的表示學(xué)習(xí)結(jié)果生成預(yù)測結(jié)果解釋的方法,并提出了兩種衡量解釋結(jié)果的指標(biāo),AvgSupport和Recall。Recall是指模型能給出解釋的預(yù)測結(jié)果的占比,其介于0和1之間且值越大越好;AvgSupport是模型能給出解釋的預(yù)測結(jié)果的平均support個數(shù),AvgSupport是一個大于0的數(shù)且越大越好。可解釋的評估結(jié)果如下:
從實(shí)驗(yàn)結(jié)果中我們可以看出,整體來說CrossE能夠更好地對預(yù)測結(jié)果生成解釋。
?
鏈接預(yù)測和可解釋的實(shí)驗(yàn)從兩個不同的方面評估了知識圖譜表示學(xué)習(xí)的效果,同時也說明了鏈接預(yù)測的準(zhǔn)確性和可解釋性沒有必然聯(lián)系,鏈接預(yù)測效果好的模型并不一定能夠更好地提供解釋,反之亦然。
?
對本文有興趣的讀者歡迎閱讀原文~
筆記整理:張文,浙江大學(xué)在讀博士,研究方向?yàn)橹R圖譜的表示學(xué)習(xí),推理和可解釋。
OpenKG.CN
中文開放知識圖譜(簡稱OpenKG.CN)旨在促進(jìn)中文知識圖譜數(shù)據(jù)的開放與互聯(lián),促進(jìn)知識圖譜和語義技術(shù)的普及和廣泛應(yīng)用。
點(diǎn)擊閱讀原文,進(jìn)入 OpenKG 博客。
總結(jié)
以上是生活随笔為你收集整理的论文浅尝 | Interaction Embeddings for Prediction and Explanation的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 学术会议 | 中国杭州举办——第21届国
- 下一篇: 论文浅尝 | Zero-Shot Tra