筆記整理 |?朱珈徵，天津大學碩士

---

鏈接：https://arxiv.org/pdf/2012.08492.pdf

動機

大型知識圖通常會增長以存儲時態事實，這些時間事實對實體沿時間線的動態關系或交互進行建模。因為這樣的時態知識圖經常遭受不完全性的困擾，所以開發有助于推斷缺失的時態事實的時間感知表示學習模型是很重要的。雖然時間事實通常是不斷演變的，但據觀察，許多事實往往沿著時間線呈現出重復的模式，例如經濟危機和外交活動。這一觀察表明，一個模型可能從歷史上出現的已知事實中學到很多東西。為此，作者基于一種新穎的時間感知拷貝生成機制，提出了一種新的時態知識圖表示學習模型——CyGNet。CyGNet不僅能夠從整個實體詞匯中預測未來的事實，而且能夠通過重復識別事實，并相應地參考過去已知的事實來預測未來的事實。實驗使用五個基準數據集在知識圖完成任務上評估了所提出的方法。大量的實驗證明了CyGNet預測未來重復事實和從頭預測事實的有效性。

亮點

CyGNet的亮點主要包括：

（1）研究重復的時間事實的潛在現象，并建議在TKGs(temporal knowledge graphs,時態知識圖譜)中學習推斷未來事實時參考歷史上已知的事實；

（2）作者通過時間感知復制生成機制提出了一個新的TKG嵌入模型CyGNet，它結合了兩種推理模式，基于歷史詞匯或整個實體詞匯進行預測，因此更符合前面提到的TKG事實的演化模式。

概念及模型

CyGNet模型主要結合了兩種推理模式，即復制模式和生成模式，前者試圖從特定的歷史詞匯中選擇實體，形成歷史中的重復事實，而后者從整個實體詞匯中預測實體。模型整體框架如下：

• 復制模式

復制模式旨在通過重復來識別事實，并通過從歷史上已知的事實中復制來相應地預測未來的事實。對于一個四元組(s, p,?, t_k) 復制模式首先用MLP生成一個索引向量V_q：

然后CyGNet通過添加索引向量V_q和改變的multi-hot指示向量來界定候選空間，最小化不感興趣實體的概率，然后用softmax函數估計歷史詞匯中對象實體的概率:

p(c)是一個向量，其大小等于整個實體詞匯的大小，并且表示歷史詞匯上的預測概率。最終，p(c)的最大維度表示要從歷史詞匯中復制的對象實體。復制模式的優點是，它能夠從一個比整個實體詞匯表更分隔的候選空間中學習預測。然而，事實也可以在即將到來的快照中出現。因此，需要一個生成模式來預測這些事實。

• 生成模式
  

給定相同的前述查詢(s, p,?, t_k)，生成模式負責通過從整個實體詞匯中選擇對象實體來預測事實。由生成模式做出的預測將預測的事實視為完全新的事實，而不參考歷史。與復制模式類似，生成模式還生成一個索引向量g_q，其大小等于候選空間的大小，并使用softmax函數進行歸一化以進行預測:

類似于Copy模式中的p(c)，p(g)表示整個實體詞匯上的預測概率。p(g)中的最大值表示作者通過生成模式在整個實體詞匯表中預測的對象實體?！吧伞蹦Ｊ绞菍Α皬椭啤蹦Ｊ降难a充，具有從頭預測事實的能力。

• 學習目標

當給定一個查詢時預測(對象)實體(s, p,?, t_k)可以看作是一個多類分類任務，其中每個類對應一個對象。學習目標是最小化訓練期間存在的TKG快照的所有事實的交叉熵損失:

• 推論

為了確保候選空間中所有實體的概率和等于1，引入了系數α來調整復制模式和生成模式之間的權重。CyGNet將復制模式和生成模式的概率預測相結合，將這兩種模式給出的每個實體的概率相加。最終預測結果將是獲得最高組合概率的實體，定義如下:

理論分析

實驗

在這一部分，作者用五個公開的TKG數據集證明了CyGNet的有效性，公開數據集進行實驗，分別是：ICEWS18，ICEWS14， GDELT， WIKI 和 YAGO。模型的評價指標為：MRR和Hits@1/3/10 (排名在前1/3/10的正確測試結果的比例)。作者還實施了已在先前工作中廣泛采用的過濾評估約束。

如圖所示，CyGNet在所有情況下都能獲得最佳性能。靜態KGE方法通常展現足夠的結果，而很大程度上落后于表現最好的TKGE方法，因為它們沒有捕捉時間動態。還可以觀察到，所有靜態KGE方法的性能通常都優于TransE和HyTE。作者認為這是由于TransE和HyTE為每個快照獨立學習表示，而不是捕獲長期依賴。CyGNet在ICEWS18、ICEWS14和GDELT上的表現明顯優于其他基線方法。特別是在GDELT上，因為GDELT在每個快照中比其他數據集具有更密集的訓練事實，并且具有更完整的歷史信息。在另外兩個數據集上CyGNet也始終超越靜態的KGE和TKGE方法。這意味著CyGNet通過從歷史中學習，從零開始識別和預測新的事實，有效地預測未來的事實。

為了幫助理解CyGNet不同模型成分的貢獻，作者還進行了一個消融研究。根據表中的結果，作者發現復制模式和生成模式都很重要。取消復制模式可能會導致MRR下降7.66%，以及其他指標的大幅下降，這表明通過參考過去已知的事實來學習預測未來的事實可能會有所幫助。另一方面，生成模式的取消導致MRR下降了5.71%，這也是該模型重新進行事實預測的能力喪失的原因之一。這些結果進一步解釋了CyGNet的良好表現是由于從歷史中學習的能力，以及從零開始識別和預測新事實的能力。

總結

表征和推斷時態知識是一個具有挑戰性的問題。在本文中，作者第一次利用復制機制來解決這個問題，基于一個假設，即未來的事實可以從歷史事實中預測。提出的CyGNet不僅能夠預測整個開放世界的事實，還能夠重復識別事實，并根據過去出現的已知事實相應地選擇未來的事實。在五個基準數據集上給出的結果證明了CyGNet在預測TKGs未來事實方面的良好表現。

?

---

?

OpenKG

開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。

點擊閱讀原文，進入 OpenKG 網站。

總結

以上是生活随笔為你收集整理的论文浅尝 - AAAI2021 | 从历史中学习：利用时间感知拷贝生成网络建模时态知识图谱...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。