2021.1知识图谱表示与推理综述（自己总结）
知識(shí)圖譜的知識(shí)表示與推理綜述
????知識(shí)圖譜作為一種結(jié)構(gòu)化的知識(shí)形式，受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，是人工智能的研究方向之一。近年來(lái)，知識(shí)表示與推理受到人類問(wèn)題求解的啟發(fā)，將知識(shí)表示為智能系統(tǒng)，以獲得解決復(fù)雜任務(wù)的能力。知識(shí)圖譜包含數(shù)萬(wàn)甚至上億的事實(shí)，如Freebase[1]、DBpedia[2]和YAGO[3]，描述整個(gè)圖譜，通常以以下形式進(jìn)行定義： ( E , R , O ) (E,R,O) (E,R,O)，其中， E E E 是實(shí)體集合， R R R 是關(guān)系集合， O O O 是觀察到事實(shí)的三元組集合，每個(gè)三元組以 ( h , r , t ) (h,r,t) (h,r,t)形式來(lái)描述， h h h 是頭實(shí)體， t t t 是尾實(shí)體， r r r 是連接關(guān)系。實(shí)體是真實(shí)世界的對(duì)象和抽象概念，關(guān)系表示實(shí)體之間的語(yǔ)義聯(lián)系，例如三元組（姚明，出生于，中國(guó)）。“姚明”、“中國(guó)”分別是頭實(shí)體和尾實(shí)體，“出生于”是連接頭尾實(shí)體的關(guān)系。
1. 知識(shí)圖譜表示學(xué)習(xí)
????知識(shí)圖譜表示學(xué)習(xí)致力于解決三元組的底層符號(hào)的表示問(wèn)題，基于分布式表示的方法將知識(shí)圖譜中的實(shí)體和關(guān)系映射到低維連續(xù)向量空間中，以此學(xué)習(xí)實(shí)體或關(guān)系的連續(xù)特征，同時(shí)，研究者們對(duì)嵌入空間和模型構(gòu)建展開(kāi)了火熱的研究。
1.1 轉(zhuǎn)移距離模型
????轉(zhuǎn)移距離模型的得分函數(shù)是基于距離的衡量，代表模型為Trans系列，以如下符號(hào)化的公式表示此類模型的得分函數(shù)：
f r ( h , t ) = ∣ ∣ S r ( h ) + r ? S r ( t ) ∣ ∣ l 1 / l 2 f_r(h,t)=||S_r(\textbf{h})+\textbf{r}-S_r(\textbf{t})||_{l1/l2} fr?(h,t)=∣∣Sr?(h)+r?Sr?(t)∣∣l1/l2?
其中，函數(shù) f r ( h , t ) f_r(h,t) fr?(h,t)代表了三元組 ( h , r , t ) (h,r,t) (h,r,t)的得分；相應(yīng)的黑體 ( h , r , t ) (\textbf{h},\textbf{r},\textbf{t}) (h,r,t)代表了嵌入向量表示； S r ( ? ) S_r(·) Sr?(?)定義了線性函數(shù)，將實(shí)體嵌入向量映射到關(guān)系驅(qū)動(dòng)的向量空間；通常來(lái)說(shuō)，以 l 1 l1 l1距離和 l 2 l2 l2距離衡量頭實(shí)體到尾實(shí)體之間的距離。
????基于轉(zhuǎn)移距離模型，最初的算法是Bordes等人提出的表示模型TransE[4]，并掀起了翻譯模型系列的研究高潮，TransE將實(shí)體和關(guān)系嵌入到歐式空間中，其基本思想是，如果三元組 ( h , r , t ) (h,r,t) (h,r,t)成立，頭實(shí)體向量 h \textbf{h} h與關(guān)系向量 r \textbf{r} r的加和與尾實(shí)體向量 t \textbf{t} t相近，否則遠(yuǎn)離。那么有 S r ( h ) = h S_r(\textbf{h})=\textbf{h} Sr?(h)=h， S r ( t ) = t S_r(\textbf{t})=\textbf{t} Sr?(t)=t 。TransE模型構(gòu)建簡(jiǎn)單，參數(shù)量少，計(jì)算效率高，但是簡(jiǎn)單性限制了模型的表達(dá)能力。TransE不能很好地解決一對(duì)多，多對(duì)一，多對(duì)多關(guān)系，例如對(duì)于三元組（姚明，生活于，中國(guó)）和（姚明，生活于，北京）都是真實(shí)的，那么通過(guò)得分函數(shù)，會(huì)得到實(shí)體“中國(guó)”和“北京”相近的向量表示，這種一對(duì)多關(guān)系不利于知識(shí)圖譜整體的表示學(xué)習(xí)。針對(duì)TransE模型的表達(dá)能力問(wèn)題， TransH[5]，TransR[6]，TransD[7]從不同角度出發(fā)解決一對(duì)多，多對(duì)一和多對(duì)多問(wèn)題。
????TransH[5]為每個(gè)關(guān)系引入了一個(gè)超平面，針對(duì)關(guān)系三元組，將實(shí)體和關(guān)系映射到此關(guān)系驅(qū)動(dòng)的表示空間，來(lái)解決復(fù)雜關(guān)系問(wèn)題，將關(guān)系 r r r的法向量定義為 w r w_r wr?，線性函數(shù) S r ( e ) = e ? w r ? e w r S_{r}(\boldsymbol{e})=\boldsymbol{e}-\boldsymbol{w}_{r}^{\top} \boldsymbol{e} \boldsymbol{w}_{\boldsymbol{r}} Sr?(e)=e?wr??ewr? 。TransR[6]提出了關(guān)系驅(qū)動(dòng)的投影矩陣 M r M_r Mr?，通過(guò)與實(shí)體嵌入向量相乘的方式將實(shí)體向量投影到關(guān)系空間： S r ( e ) = M r e S_r(e)=M_re Sr?(e)=Mr?e 。但是TransR的投影矩陣參數(shù)量大，計(jì)算效率低，TransD[7]以動(dòng)態(tài)的方式構(gòu)建投影矩陣 M r e M_{re} Mre?，并且投影矩陣與三元組中的實(shí)體和關(guān)系相關(guān)，而不單純的依賴關(guān)系： S r ( e ) = M r e e S_r(e)=M_{re}e Sr?(e)=Mre?e，其中 M r e = w r w e ? + I M_{r e}=\boldsymbol{w}_{r} \boldsymbol{w}_{e}^{\top}+\mathbf{I} Mre?=wr?we??+I， I \mathbf{I} I為單位矩陣， w e w_e we?和 w r w_r wr?分別與實(shí)體和關(guān)系對(duì)應(yīng)。
????此外，基于不同考慮的Trans系列模型同樣具有廣泛的研究?jī)r(jià)值，TranSparse[8]利用數(shù)字空間來(lái)解決知識(shí)圖譜的異質(zhì)性和不平衡性問(wèn)題；TransM[9]關(guān)注于知識(shí)圖譜的結(jié)構(gòu)，通過(guò)預(yù)先統(tǒng)計(jì)訓(xùn)練集中每個(gè)關(guān)系的權(quán)重 θ r \theta_r θr?構(gòu)建模型： f r ( h , t ) = ? θ r ∥ h + r ? t ∥ l 1 / l 2 f_{r}(h, t)=-\theta_{r}\|\boldsymbol{h}+\boldsymbol{r}-\boldsymbol{t}\|_{l 1 / l 2} fr?(h,t)=?θr?∥h+r?t∥l1/l2?；TransAP[10]從得分函數(shù)出發(fā)，認(rèn)為僅僅考慮距離驅(qū)動(dòng)的得分函數(shù)過(guò)于單調(diào)，并且不能解決圖譜中的圓形結(jié)構(gòu)和層次結(jié)構(gòu)，因此引入了位置驅(qū)動(dòng)的實(shí)體嵌入機(jī)制和注意力機(jī)制來(lái)捕獲三元組的不同語(yǔ)義。
????最近，RotatE[11]和QuatE[12]在復(fù)數(shù)空間建模三元組，學(xué)習(xí)豐富的信息特征表示。RotatE[11]的動(dòng)機(jī)來(lái)源于歐拉恒等式： e i θ = cos ? θ + i sin ? θ e^{i \theta}=\cos \theta+i \sin \theta eiθ=cosθ+isinθ，這表明一個(gè)酉復(fù)數(shù)可以看做復(fù)數(shù)平面上的旋轉(zhuǎn)，具體來(lái)說(shuō)，RotatE模型將實(shí)體和關(guān)系映射到復(fù)向量空間，并將每個(gè)關(guān)系定義為從源實(shí)體到目標(biāo)實(shí)體的旋轉(zhuǎn)，得分函數(shù)定義為 f r ( h , t ) = ? ∥ h ° r ? t ∥ l 1 f_{r}(h, t)=-\|\boldsymbol{h} \circ \boldsymbol{r}-\boldsymbol{t}\|_{l 1} fr?(h,t)=?∥h°r?t∥l1?，其中符號(hào) ° \circ °為哈德曼積，定義了頭實(shí)體與關(guān)系的旋轉(zhuǎn)操作，RotatE期望等式 h ° r = t \boldsymbol{h} \circ\boldsymbol{r}=\boldsymbol{t} h°r=t成立。QuatE[12]將嵌入空間拓展到了四元數(shù)空間，四元數(shù)空間屬于復(fù)數(shù)系統(tǒng)，向量由一個(gè)實(shí)部和三個(gè)虛部四部分組成，QuatE延續(xù)了RotatE的思想，將關(guān)系視為源實(shí)體到目標(biāo)實(shí)體的旋轉(zhuǎn)，得分函數(shù)為： f r ( h , t ) = h ? r ? t f_{r}(h, t)=\boldsymbol{h} \otimes \boldsymbol{r} \cdot \boldsymbol{t} fr?(h,t)=h?r?t， ? \otimes ?定義了四元數(shù)空間的哈密爾頓乘積， ? \cdot ?為點(diǎn)積操作，衡量旋轉(zhuǎn)后的頭實(shí)體向量與尾實(shí)體向量之間的相似度。
1.2 語(yǔ)義匹配模型
????語(yǔ)義匹配模型注重挖掘向量化后的實(shí)體和關(guān)系間潛在的語(yǔ)義關(guān)聯(lián)，評(píng)分函數(shù)反映了三元組語(yǔ)義信息的置信度。
????RESCAL[13]優(yōu)化了一個(gè)包含頭尾實(shí)體與滿秩關(guān)系矩陣的雙線性乘積的評(píng)分函數(shù)。雖然RESCAL是一個(gè)非常有表現(xiàn)力和功能強(qiáng)大的模型，但由于其大量的參數(shù)，容易出現(xiàn)過(guò)擬合，隨著知識(shí)圖中關(guān)系的數(shù)量，其嵌入維數(shù)呈二次增長(zhǎng)。
????DistMult[14]是RESCAL的一種特殊情況，每個(gè)關(guān)系都有一個(gè)對(duì)角矩陣，這種方式一定程度上減少了過(guò)擬合。然而，在DistMult中對(duì)實(shí)體嵌入向量進(jìn)行的線性變換被限制在一個(gè)拉伸范圍內(nèi)。DistMult學(xué)習(xí)的二元張量在主客體實(shí)體模式下是對(duì)稱的，因此DistMult不能模擬非對(duì)稱關(guān)系。
????ComplEx[15]將DistMult擴(kuò)展到復(fù)數(shù)域。同一實(shí)體的主體和客體實(shí)體嵌入是復(fù)數(shù)共軛的，這將不對(duì)稱引入到張量分解中，從而使復(fù)雜性能夠建模不對(duì)稱關(guān)系。
????SimplE[16]模型基于Canonical Polyadic (CP) 分解，DistMult是CP的一個(gè)特殊情況)。其中，實(shí)體嵌入與位置相關(guān)，同一實(shí)體的頭尾嵌入是獨(dú)立的，SimplE模型的評(píng)分函數(shù)改變CP，通過(guò)計(jì)算兩項(xiàng)的平均值，使主客體實(shí)體嵌入向量相互依賴，第一項(xiàng)是頭實(shí)體嵌入、關(guān)系嵌入和尾實(shí)體嵌入的雙線性乘積，第二項(xiàng)是頭實(shí)體嵌入、反向關(guān)系嵌入和尾實(shí)體嵌入的雙線性乘積。
2. 基于神經(jīng)網(wǎng)絡(luò)的知識(shí)推理
2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)推理
????本質(zhì)上，轉(zhuǎn)移距離模型僅通過(guò)簡(jiǎn)單的減法或乘法運(yùn)算獲得淺層的線性特征。近幾年，基于卷積神經(jīng)網(wǎng)絡(luò)的知識(shí)推理逐漸興起，將嵌入向量重塑為嵌入矩陣架起了CNN與知識(shí)圖譜之間的橋梁，下面將敘述以CovnE為首的卷積神經(jīng)網(wǎng)絡(luò)推理模型。
????ConvE[17]通過(guò)簡(jiǎn)單的二維卷積嵌入去預(yù)測(cè)連接關(guān)系，模型首先對(duì)頭實(shí)體和關(guān)系嵌入向量進(jìn)行全局二維卷積運(yùn)算，將它們重塑為矩陣并連接起來(lái)，然后將得到的矩陣作為卷積層的輸入，得到的特征映射被平鋪化，通過(guò)線性層頭燒到K維空間中，最后并與所有對(duì)象實(shí)體向量的內(nèi)積為每個(gè)三元組生成一個(gè)分?jǐn)?shù)。雖然ConvE取得的結(jié)果令人印象深刻，但它對(duì)向量的重塑和連接以及在單詞嵌入上使用2D卷積是不直觀的。
????ConvKB[18]是基于ConvE模型的簡(jiǎn)單改進(jìn)，在ConvKB中，每個(gè)三元組(頭實(shí)體、關(guān)系、尾實(shí)體)都表示為一個(gè)3列矩陣，其中每個(gè)列向量表示一個(gè)三元組元素。然后，這個(gè)三列矩陣被送入卷積層，在卷積層中，多個(gè)濾波器對(duì)矩陣進(jìn)行操作，以生成不同的特征映射。
????HypER[19]是一個(gè)簡(jiǎn)化的卷積模型，針對(duì)每個(gè)關(guān)系，使用超網(wǎng)絡(luò)生成一維卷積過(guò)濾器，從頭實(shí)體嵌入向量中提取關(guān)系驅(qū)動(dòng)的特征。作者證明卷積是一種引入稀疏性和參數(shù)捆綁的方法，而HypER可以從張量分解的角度理解到非線性，從而使HypER更接近于已建立的分解模型族。HypER的缺點(diǎn)是它將核心權(quán)值張量的大多數(shù)元素設(shè)置為0，這相當(dāng)于硬正則化，而不是讓模型通過(guò)軟正則化來(lái)學(xué)習(xí)使用哪些參數(shù)。
????CoPER[20]認(rèn)為之前基于CNN的模型不能處理為每個(gè)關(guān)系使用不同的源實(shí)體投影的情況，因此，CoPER使用上下文參數(shù)來(lái)解決這個(gè)限制。具體地，將關(guān)系視為處理源實(shí)體以產(chǎn)生預(yù)測(cè)的上下文，通過(guò)使用關(guān)系嵌入來(lái)生成在源實(shí)體嵌入上操作的模型參數(shù)。
????InteractE[21]認(rèn)為ConvE頭實(shí)體與關(guān)系向量簡(jiǎn)單的拼接方式限制了模型的特征捕獲能力，為解決這一問(wèn)題，InteractE提出了三種關(guān)鍵的特征捕獲方法：特征排序、新型的特征重塑方法和循環(huán)卷積。特征排序不是使用一個(gè)固定的輸入順序，而是利用多種排列來(lái)捕捉更多可能的交互；特征重塑不是簡(jiǎn)單的拼接，而是以多種方式（堆疊、交替和方格）重塑特征；與標(biāo)準(zhǔn)卷積相比，循環(huán)卷積允許捕獲更多的特性交互。
2.2 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理
????基于神經(jīng)網(wǎng)絡(luò)的推理模型根據(jù)子圖結(jié)構(gòu)建模知識(shí)圖譜中的事實(shí)三元組，實(shí)體節(jié)點(diǎn)通過(guò)卷積周圍節(jié)點(diǎn)豐富自身的表示特征。
????R-GCN[22]是最早將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用在知識(shí)圖譜補(bǔ)全任務(wù)上的方法，R-GCN引入了一個(gè)關(guān)系圖卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)產(chǎn)生對(duì)位置敏感的嵌入，然后將其傳遞給解碼器，以預(yù)測(cè)KG中缺失的鏈接。需要注意的是，簡(jiǎn)單的GCN不能用于嵌入KGs，因?yàn)樗雎粤藞D中的邊緣標(biāo)簽，因此，R-GCN稍微修改了簡(jiǎn)單GCN的評(píng)分函數(shù)，以捕獲邊緣之間的關(guān)系。
????SACN[23]從關(guān)系類型出發(fā)，通過(guò)聚合節(jié)點(diǎn)的鄰域聚合信息，來(lái)擴(kuò)展之前的工作，這被稱為加權(quán)圖卷積網(wǎng)絡(luò)(WGCN)。在WGCN中，整個(gè)圖被分解成子圖，每個(gè)子圖只包含一種關(guān)系類型的邊，然后將GCN應(yīng)用于每個(gè)子圖上。
????在鏈接預(yù)測(cè)任務(wù)中，圖卷積網(wǎng)絡(luò)通常作為模型中的編碼器，隨后融合其他的模型完成任務(wù)。TransGCN[24]將翻譯系列模型的思想引入到了GCN中，提出了TransGCN，綜合了TransE模型和圖神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，考慮到知識(shí)圖譜中的關(guān)系具有不同種類的特點(diǎn)，關(guān)系圖卷積網(wǎng)絡(luò)(R-GCN)使用關(guān)系特定的變換矩陣擴(kuò)展了GCN，并且為了緩解由于關(guān)系種類過(guò)于豐富而導(dǎo)致的參數(shù)量巨大的問(wèn)題，提出了基分解和塊對(duì)角分解兩種正則化策略。
????與以上研究不同的是，濱口(Hamaguchi)等人[25]提出使用圖神經(jīng)網(wǎng)絡(luò)利用鄰實(shí)體和對(duì)應(yīng)的關(guān)系獲得新實(shí)體的表示，并針對(duì)知識(shí)圖譜的特點(diǎn)，為圖神經(jīng)網(wǎng)絡(luò)提出了新的傳播模型；Wang等人[26]進(jìn)一步改進(jìn)了傳播模型，即邏輯注意力網(wǎng)絡(luò)(Logic Attention Network，LAN)，以考慮實(shí)體鄰域的無(wú)序性和不平等性質(zhì)，從而更好地學(xué)習(xí)實(shí)體和對(duì)應(yīng)的鄰實(shí)體之間的關(guān)系。GENI(GNN for Estimating Node Importance)[27]為了估計(jì)知識(shí)圖譜中實(shí)體的重要性，提出了鄰實(shí)體的重要性分?jǐn)?shù)（而不是鄰居實(shí)體的特征）對(duì)中心實(shí)體的重要性評(píng)估起主要作用的觀點(diǎn)，因此設(shè)計(jì)了預(yù)測(cè)感知的注意力機(jī)制和靈活的中心性調(diào)整策略，使重要性分?jǐn)?shù)進(jìn)行傳播，而非實(shí)體表示。
3. 四元數(shù)及其應(yīng)用
????四元數(shù)屬于超復(fù)數(shù)系統(tǒng)，最早由Hamilton[28]提出，其應(yīng)用范圍廣泛，包括航天、機(jī)器人、計(jì)算機(jī)可視化、電影中的動(dòng)畫和特效以及導(dǎo)航。近年來(lái)，四元數(shù)在機(jī)器學(xué)習(xí)領(lǐng)域引起了人們的關(guān)注。
????在語(yǔ)音識(shí)別任務(wù)上與傳統(tǒng)的RNNs模型相比，四元數(shù)遞歸神經(jīng)網(wǎng)絡(luò)(QRNNs)[32]以更少的參數(shù)獲得了較好的性能，四元數(shù)表示也有助于增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)在多個(gè)任務(wù)上的性能，如自動(dòng)語(yǔ)音識(shí)別[29]和圖像分類[30] [31]；四元數(shù)多層感知機(jī)和四元數(shù)自編碼也優(yōu)于標(biāo)準(zhǔn)MLP和自編碼；同樣的，四元數(shù)也應(yīng)用在了推薦系統(tǒng)任務(wù)[33]上。簡(jiǎn)而言之，這些模型背后的主要?jiǎng)訖C(jī)是四元數(shù)使神經(jīng)網(wǎng)絡(luò)能夠編碼多維輸入特征之間潛在的相互依賴和內(nèi)部依賴，從而導(dǎo)致更緊湊的交互能力和更好的表示能力。
????最近，四元數(shù)空間向量表示也應(yīng)用到了知識(shí)推理任務(wù)中，例如QuatE[12]，Rotate3D[34]，QuatE用哈密爾頓積運(yùn)算作為旋轉(zhuǎn)的運(yùn)算，可以推理多種關(guān)系模式，如對(duì)稱/反對(duì)稱關(guān)系、反向關(guān)系和組合關(guān)系；而Rotate3D[34]是以四元數(shù)表示完成三維空間的旋轉(zhuǎn)操作，將實(shí)體映射到三維空間，并定義了從頭部實(shí)體到尾部實(shí)體的旋轉(zhuǎn)關(guān)系。Rotate3D利用三維空間中旋轉(zhuǎn)的非交換復(fù)合特性，可以自然地保持組合關(guān)系的順序。基于四元數(shù)空間的推理技術(shù)尚不成熟，有待深入研究。
4. 參考文獻(xiàn)
[1] K. Bollacker， C. Evans， P. Paritosh， T. Sturge， and J. Taylor，“Freebase: A collaboratively created graph database for structuring human knowledge，” in Proc. ACM SIGMOD Int. Conf. Manage. Data， 2008， pp. 1247–1250.
[2] J. Lehmann， et al.， “DBpedia: A large-scale， multilingual knowledge base extracted from Wikipedia，” Semantic Web J.， vol. 6，no. 2， pp. 167–195， 2015.S.
[3] F. M. Suchanek， G. Kasneci， and G. Weikum， “YAGO: A core of semantic knowledge，” in Proc. 16th Int. Conf. World Wide Web，2007， pp. 697–706.
[4] Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, 26, 2787-2795.
[5] Wang, Z., Zhang, J., Feng, J., & Chen, Z. (2014, June). Knowledge graph embedding by translating on hyperplanes. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 28, No. 1).
[6] Lin, Y., Liu, Z., Sun, M., Liu, Y., & Zhu, X. (2015, February). Learning entity and relation embeddings for knowledge graph completion. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 29, No. 1).
[7] Ji, G., He, S., Xu, L., Liu, K., & Zhao, J. (2015, July). Knowledge graph embedding via dynamic mapping matrix. In Proceedings of the 53rd annual meeting of the association for computational linguistics and the 7th international joint conference on natural language processing (volume 1: Long papers) (pp. 687-696).
[8] Ji, G., Liu, K., He, S., & Zhao, J. (2016, February). Knowledge graph completion with adaptive sparse transfer matrix. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 30, No. 1).
[9] Fan, M., Zhou, Q., Chang, E., & Zheng, F. (2014, December). Transition-based knowledge graph embedding with relational mapping properties. In Proceedings of the 28th Pacific Asia Conference on Language, Information and Computing (pp. 328-337).
[10] Zhang, S., Sun, Z., & Zhang, W. (2020). Improve the translational distance models for knowledge graph embedding. Journal of Intelligent Information Systems, 1-23.
[11] Sun, Z., Deng, Z. H., Nie, J. Y., & Tang, J. (2019). Rotate: Knowledge graph embedding by relational rotation in complex space. arXiv preprint arXiv:1902.10197.
[12] Zhang, S., Tay, Y., Yao, L., & Liu, Q. (2019). Quaternion knowledge graph embeddings. In Advances in Neural Information Processing Systems (pp. 2735-2745).
[13] Nickel, M., Tresp, V., & Kriegel, H. P. (2011, June). A three-way model for collective learning on multi-relational data. In Icml (Vol. 11, pp. 809-816).
[14] Yang, B., Yih, W. T., He, X., Gao, J., & Deng, L. (2014). Embedding entities and relations for learning and inference in knowledge bases. arXiv preprint arXiv:1412.6575.
[15] Trouillon, T., Welbl, J., Riedel, S., Gaussier, é., & Bouchard, G. (2016). Complex embeddings for simple link prediction. International Conference on Machine Learning (ICML).
[16] Kazemi, S. M., & Poole, D. (2018). Simple embedding for link prediction in knowledge graphs. In Advances in neural information processing systems (pp. 4284-4295).
[17] Dettmers, T., Minervini, P., Stenetorp, P., & Riedel, S. (2018, April). Convolutional 2d knowledge graph embeddings. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 32, No. 1).
[18] Nguyen, D. Q., Nguyen, T. D., Nguyen, D. Q., & Phung, D. (2017). A novel embedding model for knowledge base completion based on convolutional neural network. arXiv preprint arXiv:1712.02121.
[19] Bala?evi?, I., Allen, C., & Hospedales, T. M. (2019, September). Hypernetwork knowledge graph embeddings. In International Conference on Artificial Neural Networks (pp. 553-565). Springer, Cham.
[20] Stoica, G., Stretcu, O., Platanios, E. A., Mitchell, T., & Póczos, B. (2020, April). Contextual Parameter Generation for Knowledge Graph Link Prediction. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 34, No. 03, pp. 3000-3008).
[21] Vashishth, S., Sanyal, S., Nitin, V., Agrawal, N., & Talukdar, P. P. (2020). InteractE: Improving Convolution-Based Knowledge Graph Embeddings by Increasing Feature Interactions. In AAAI (pp. 3009-3016).
[22] Schlichtkrull, M., Kipf, T. N., Bloem, P., Van Den Berg, R., Titov, I., & Welling, M. (2018, June). Modeling relational data with graph convolutional networks. In European Semantic Web Conference (pp. 593-607). Springer, Cham.
[23] Shang, C., Tang, Y., Huang, J., Bi, J., He, X., & Zhou, B. (2019, July). End-to-end structure-aware convolutional networks for knowledge base completion. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 33, pp. 3060-3067).
[24] Cai, L., Yan, B., Mai, G., Janowicz, K., & Zhu, R. (2019, September). TransGCN: Coupling transformation assumptions with graph convolutional networks for link prediction. In Proceedings of the 10th International Conference on Knowledge Capture (pp. 131-138).
[25] Hamaguchi, T., Oiwa, H., Shimbo, M., & Matsumoto, Y. (2017). Knowledge transfer for out-of-knowledge-base entities: A graph neural network approach. arXiv preprint arXiv:1706.05674.
[26] Wang, P., Han, J., Li, C., & Pan, R. (2019, July). Logic attention based neighborhood aggregation for inductive knowledge graph embedding. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 33, pp. 7152-7159).
[27] Park, N., Kan, A., Dong, X. L., Zhao, T., & Faloutsos, C. (2019, July). Estimating node importance in knowledge graphs using graph neural networks. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 596-606).
[28] Hamilton, W. R. (1844). LXXVIII. On quaternions; or on a new system of imaginaries in Algebra: To the editors of the Philosophical Magazine and Journal. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 25(169), 489-495.
[29] Parcollet, T., Zhang, Y., Morchid, M., Trabelsi, C., Linarès, G., De Mori, R., & Bengio, Y. (2018). Quaternion convolutional neural networks for end-to-end automatic speech recognition. arXiv preprint arXiv:1806.07789.
[30] Parcollet, T., Morchid, M., & Linarès, G. (2017, August). Quaternion denoising encoder-decoder for theme identification of telephone conversations.
[31] Parcollet, T., Morchid, M., & Linarès, G. (2019, May). Quaternion convolutional neural networks for heterogeneous image processing. In ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 8514-8518). IEEE.
[32] Parcollet, T., Ravanelli, M., Morchid, M., Linarès, G., Trabelsi, C., De Mori, R., & Bengio, Y. (2018). Quaternion recurrent neural networks. arXiv preprint arXiv:1806.04418.
[33] Zhang, S., Yao, L., Tran, L. V., Zhang, A., & Tay, Y. (2019). Quaternion collaborative filtering for recommendation. arXiv preprint arXiv:1906.02594.
[34] Gao, C., Sun, C., Shan, L., Lin, L., & Wang, M. (2020, October). Rotate3D: Representing Relations as Rotations in Three-Dimensional Space for Knowledge Graph Embedding. In Proceedings of the 29th ACM International Conference on Information & Knowledge Management (pp. 385-394).
總結(jié)
以上是生活随笔為你收集整理的2021.1知识图谱表示与推理综述（自己总结）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 为什么程序员都这么邋遢？
- 下一篇： 如何和程序员谈恋爱