论文浅尝 | 基于事理图谱的脚本事件预测
論文筆記整理：邱圣廣，南京大學碩士，研究方向為自然語言處理。
鏈接：https://www.ijcai.org/proceedings/2018/0584.pdf
?
緒論
1.? 腳本事件預測
腳本事件預測這個任務最早是由Chambers andJurafsky于2008年提出來的，要求給定一個事件的上下文 (context)，需要從候選列表中選出接下來最可能要發生的事件，如下圖所示：
這是在餐館場景下發生的一系列事件，根據已經發生的事件，5個候選事件中下一個最可能發生的事件就是離開餐館(leave)。
2.? 亮點
現有的關于腳本事件預測的方法主要是基于事件對和事件鏈的，但是會存在以下缺陷，如下圖所示：
給定上下文：enter,order,serve，現在要從talk和eat這兩個候選事件中選出下一個最可能發生的事件。在基于事件對和事件鏈的方法中，如（b）所示，在訓練的時候，會發現（serve,talk）一起出現的頻率要高于（serve,eat），因此在預測的時候選擇talk的概率會更高；而在基于事件圖結構（即事理圖譜）的方法中，如（c）所示，（order，serve，eat）構成了一個強聯通分量，這暗示了eat更可能是正確答案。
3.? 論文貢獻
（1）?第一個在腳本事件預測這個任務上提出基于圖結構的方法
（2）?提出一個大規模圖神經網絡（Scaled Graph Neural Network），從而可以對大規模稠密有向圖中的事件關系進行建模，進而學習出更好的事件表示。
模型
1.? 事理圖譜（NEEG）的構建
（1）? 從語料庫中抽取事件鏈
從語料庫中抽出所有事件鏈：, 其中?表示一個事件鏈 ,? e_i 表示事件，采用四元組的形式表示，其中 p 表示謂語動詞, a0, a1,a2 分別表示謂語動詞的主語、直接賓語、間接賓語； T 則是被這個事件鏈中所有事件共享的主人公。下面是一個事件鏈的例子：s_i = {T=customer, walk{T,restaurant,-}, seat(T,-,-), read(T,menu,-), order(T,food,-),serve(waiter,food,T),eat(T,food,fork)}。
（2）? 根據事件鏈構建圖譜
? 根據抽出的事件鏈，事理圖譜就可以形式化定義成一個圖結構，其中中每個節點代表事件，?中每條邊表示事件之間的關系。
?????????為了解決稀疏問題，在圖譜中每個事件都采用一種叫做謂詞語法（predicate-GR）的形式 (v_i, r_i) 來表示，其中 v_i 表示為謂語動詞，r_i 表示謂語動詞與鏈實體之間的語法依賴關系，如 eat(T,food,fork) 用 predicate-GR 表示就是 (eat,subj)。
?????????然后每條有向邊的權重就可以通過以下公式計算得到：
2.? 大規模圖神經網絡（SGNN）
SGNN在GGNN的基礎上進行改進，在訓練階段借鑒了分治的思想，只將當前所需子圖作為訓練樣本，從而克服了GGNN不能處理大規模圖的缺陷。整個模型的框架圖如下所示：
其中（a）為部分事理圖譜，（b）為本次訓練所需子圖，（c）為網絡結構圖，分為三部分：表示層、GGNN、相關性計算。下面將對這三部分進行介紹：
?????????表示層
將輸入的事件轉成向量表示（即初始化），給定一個事件，分別獲得謂語動詞以及參數的word embedding，即，文中采用三種不同的方法獲取事件 e_i 的表示：
?????????GGNN
GGNN用于更新事件表示，GGNN的輸入為兩個矩陣：初始隱藏層,? 鄰接矩陣 ，n, k 分別表示上下文事件、候選事件的個數，其中：
然后通過各種門不斷地進行更新、計算，最終得到所有事件的最終表示h^t
?????????相關性計算
獲取最終表示?后，就可以計算context和候選事件之間的相關性：
其中 g 表示相似度計算函數，常用的有以下幾種：
然后給定上下文: e_1, e_2,...e_n，候選事件發生的可能性為：
選擇可能性最大的候選事件。
?????????Attention機制
考慮到不同context在選擇候選事件的時候占有的比重應該不同，所以作者加了一個attention機制，用來計算每個context對每個候選事件的權重，最后得到新的相似度計算函數：
?????????目標函數
其中? 表示第 I 個 context 和第 j 個候選事件之間的相似度，y 表示正確答案的下標，margin表示的是Margin loss參數，?θ 表示模型參數。
實驗
1.?數據集
數據集采用的是Gigaword語料庫中的NYT部分，其統計情況如下：
2.?實驗結果
作者與很多baseline進行了比較，實驗結果表明：
（1）?基于神經網絡的模型要比傳統統計學習的模型要好。
（2）?基于事件圖結構的模型要優于基于事件對或事件鏈的模型。
（3）?加了attention能夠提高實驗效果，說明不同context在選擇時所占權重是不同的。
（4）?作者將自己的模型與baseline方法進行了結合，實驗效果有不同程度的改變。
3.?比較性實驗
作者還在驗證集上進行了比較性的實驗，從實驗結果可以看到，采用連接方式獲取事件表示，以及采用歐拉距離作為相似函數的時候，模型效果最好。
結論
本文提出了一種基于事理圖譜的腳本事件預測方法，通過引入一個大規模圖神經網絡，用來對事件關系進行建模并學習事件表示。通過實驗結果表明，基于事件圖結構的方法要比基于事件對、事件鏈的方法好。
?
?
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。
總結
以上是生活随笔為你收集整理的论文浅尝 | 基于事理图谱的脚本事件预测的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文浅尝 | 基于知识图谱中图卷积神经网
- 下一篇： 我对Spring的理解