知识图谱嵌入(KGE)主流模型简介
1. KGE簡介
目前(2020.03)知識(shí)圖譜嵌入研究方法眾多，本文將對(duì)其中的主流方法進(jìn)行簡要介紹，如翻譯、雙線性、神經(jīng)網(wǎng)絡(luò)、雙曲幾何、旋轉(zhuǎn)等。各方法細(xì)節(jié)請(qǐng)看原論文，文中錯(cuò)誤歡迎指出，謝謝。
知識(shí)圖譜嵌入(Knowledge Graph Embedding, KGE)學(xué)習(xí)知識(shí)庫中的實(shí)體和關(guān)系的Embedding表示，是語義檢索、知識(shí)問答、推薦等眾多應(yīng)?的基礎(chǔ)研究。在具體了解KGE之前，我們先來看知識(shí)圖譜是什么，為什么又要做知識(shí)圖譜嵌入呢。
如下圖所示，知識(shí)圖譜是由大量的事實(shí)三元組組成，如（英國, 首都, 倫敦）便是真實(shí)世界中的知識(shí)，可用 ( h , r , t ) (h, r, t) (h,r,t)進(jìn)行表示，其中 h , t h, t h,t表示頭尾實(shí)體， r r r表示關(guān)系。但我們知道，真實(shí)世界中知識(shí)是無限增長的，而知識(shí)圖譜卻不能包含真實(shí)世界中的所有知識(shí)，因此需在知識(shí)庫中進(jìn)行知識(shí)補(bǔ)全，或者稱為鏈接預(yù)測。
如何進(jìn)行鏈接預(yù)測呢？一個(gè)可行的方法便是將實(shí)體和關(guān)系進(jìn)行Embedding表示，類似于Word2Vec，將字或詞表示成Embedding信息。然后根據(jù)實(shí)體和關(guān)系的Embedding信息進(jìn)行預(yù)測，比如利用頭實(shí)體和關(guān)系去預(yù)測尾實(shí)體，或者利用尾實(shí)體和關(guān)系去預(yù)測頭實(shí)體。當(dāng)然，Embedding信息也可應(yīng)用到其他領(lǐng)域，比如知識(shí)問答、文本信息增強(qiáng)、語義檢索等。
2. KGE模型
通過上面介紹，我們知道KGE是將知識(shí)庫中的實(shí)體和關(guān)系進(jìn)行Embedding表示，但具體有哪些方法呢？根據(jù)我個(gè)人的理解，將模型規(guī)劃為翻譯(TransE, TransH, TransR, etc)、雙線性(RESCAL, DisMult, ComplEx, etc)、雙曲幾何(Poincare, MuRE, etc)、神經(jīng)網(wǎng)絡(luò)(ConvE, CapsE, etc)、旋轉(zhuǎn)(RotatE, QuatE, DihEdral, etc)類別，下面逐一進(jìn)行介紹。
2.1 翻譯模型
翻譯模型是把關(guān)系當(dāng)作頭實(shí)體和尾實(shí)體之間的翻譯，包括TransE, TransH, TransD等模型。
TransE認(rèn)為 h + r ≈ t h + r \approx t h+r≈t，即 r r r是頭尾實(shí)體之間的翻譯關(guān)系，并定義評(píng)分函數(shù)為 f r ( h , t ) = ∣ ∣ h + r ? t ∣ ∣ 2 2 f_r(h, t) = ||h + r - t||_{2}^{2} fr?(h,t)=∣∣h+r?t∣∣22?，優(yōu)化目標(biāo)是最小化評(píng)分函數(shù)。TransE能夠解決1-1類別的關(guān)系，但不能夠很好的解決1-N, N-1, N-N關(guān)系。比如（流浪地球，演員，吳京）、（流浪地球，演員，吳孟達(dá)）兩個(gè)三元組，當(dāng)頭實(shí)體 h h h和關(guān)系 r r r相同時(shí)，TransE認(rèn)為所有尾實(shí)體 t t t具有相同的Embedding信息，但實(shí)際情況并非如此。
針對(duì)TransE存在的問題，TransH把頭實(shí)體 h h h和尾實(shí)體 t t t投影到關(guān)系所在的超平面中，并定義評(píng)分函數(shù)為 f r ( h , t ) = ∣ ∣ h ⊥ + r ? t ⊥ ∣ ∣ 2 2 f_r(h,t) = ||h_{\perp} + r - t_{\perp}||_{2}^{2} fr?(h,t)=∣∣h⊥?+r?t⊥?∣∣22?，其中 h ⊥ = h ? w r T h w r , t ⊥ = t ? w r T t w r h_{\perp} = h - w_{r}^{T}hw_{r}, t_{\perp} = t - w_{r}^{T}tw_{r} h⊥?=h?wrT?hwr?,t⊥?=t?wrT?twr?。經(jīng)過投影后，盡管頭實(shí)體 h h h和關(guān)系 r r r相同，尾實(shí)體 t t t的Embedding信息也會(huì)不同，TransH能夠一定程度上解決多對(duì)多的關(guān)系。
TransR認(rèn)為TransE和TransH均是把實(shí)體和關(guān)系放在同一空間中進(jìn)行考慮，但實(shí)體可能具有多個(gè)不同方面的屬性，不同的關(guān)系也關(guān)注著實(shí)體的不同屬性，因此把實(shí)體和關(guān)系放在同一空間中考慮是不準(zhǔn)確的。因此，TransR構(gòu)建實(shí)體空間和關(guān)系空間，并定義評(píng)分函數(shù)為 f r ( h , t ) = ∣ ∣ h ⊥ + r ? t ⊥ ∣ ∣ 2 2 f_{r}(h, t) = ||h_{\perp} + r - t_{\perp}||_{2}^{2} fr?(h,t)=∣∣h⊥?+r?t⊥?∣∣22?，其中 h ⊥ = h M r , t = t M r h_{\perp} = hM_{r}, t = t M_r h⊥?=hMr?,t=tMr?， h ⊥ , t ⊥ h_{\perp}, t_{\perp} h⊥?,t⊥?屬于實(shí)體空間， r r r屬于關(guān)系空間。
如下圖所示，除了TransE, TransH, TransR以外，還有其他Trans模型，考慮實(shí)體和關(guān)系的概率性、稀疏性等問題，此處不再贅述。但總體上，Trans模型均是把關(guān)系當(dāng)作頭尾實(shí)體之間的翻譯，解決知識(shí)庫中所存在的多對(duì)多問題。
2.2 雙線性模型
雙線性模型計(jì)算實(shí)體和關(guān)系在向量空間中潛在語義的可信度，包括RESCAL、DisMult、ComplEx等模型。
RESCAL把關(guān)系利用滿秩矩陣表示，并定義評(píng)分函數(shù)為 f r ( h , t ) = h T M r t f_r(h, t) = h^TM_rt fr?(h,t)=hTMr?t。能夠看到，RESCAL的實(shí)體和關(guān)系之間全是矩陣運(yùn)算，因此實(shí)體和關(guān)系的信息可以進(jìn)行深層次交互，非常具有表現(xiàn)力。但同時(shí)，RESCAL容易過擬合，并且隨著關(guān)系矩陣維度的增加，復(fù)雜度會(huì)很高，很難應(yīng)用到大規(guī)模知識(shí)圖譜。
針對(duì)RESCAL存在的問題，DisMult放松對(duì)關(guān)系矩陣的約束，把關(guān)系矩陣 M r M_r Mr?利用對(duì)角矩陣表示，并定義損失函數(shù)為 f r ( h , t ) = h T d i a g ( M r ) t f_{r}(h,t) = h^Tdiag(M_r)t fr?(h,t)=hTdiag(Mr?)t。但DisMult過分簡化了RESCAL模型，導(dǎo)致只能夠解決知識(shí)庫中存在的對(duì)稱關(guān)系，不能夠解決知識(shí)圖譜中其他類型的關(guān)系。
針對(duì)DisMult存在的問題，ComplEx把DisMult擴(kuò)展到復(fù)數(shù)空間表示，并定義評(píng)分函數(shù)為 f r ( h , t ) = R e ( h T d i a g ( M r ) t ˉ ) f_{r}(h,t) = Re(h^Tdiag(M_r)\bar{t}) fr?(h,t)=Re(hTdiag(Mr?)tˉ)，其中 h , t h, t h,t均用復(fù)數(shù)表示， t ˉ \bar{t} tˉ表示 t t t的共軛復(fù)數(shù)， R e ( ? ) Re(\cdot) Re(?)表示取得復(fù)數(shù)的實(shí)部。ComplEx對(duì)DisMult擴(kuò)展后，能夠同時(shí)解決對(duì)稱和非對(duì)稱關(guān)系。ComplEx首次在KGE中引入復(fù)數(shù)方法，后面我們還能看到其他模型利用復(fù)數(shù)空間解決問題，并且可解決除對(duì)稱、非對(duì)稱外更復(fù)雜的對(duì)稱類型。
如下圖所示，除RESCAL, DisMult, ComplEx外，還有其他雙線性模型，考慮實(shí)體和關(guān)系的潛在語義信息，獲取實(shí)體和關(guān)系的深層次交互信息。
2.3 神經(jīng)網(wǎng)絡(luò)模型
多數(shù)翻譯模型和雙線性模型是16年之前模型，最近幾年隨著神經(jīng)網(wǎng)絡(luò)的興起，也有利用神經(jīng)網(wǎng)絡(luò)解決KGE問題的模型，包括ConvE、CapsE等。
如下圖所示，ConvE首先把頭實(shí)體和關(guān)系轉(zhuǎn)換為二維向量，接下來利用卷積層和全連接層獲取交互信息，然后與矩陣 W W W和尾實(shí)體進(jìn)行計(jì)算，判斷當(dāng)前三元組的可信度。ConvE評(píng)分函數(shù)為 f ( v e c ( f ( [ h ˉ , r ˉ ] ? w ) ) W ) t f(vec(f([\bar{h}, \bar{r}] * w ))W) t f(vec(f([hˉ,rˉ]?w))W)t， h ˉ , r ˉ \bar{h}, \bar{r} hˉ,rˉ表示二維向量， w w w表示卷積核， W W W表示矩陣。ConvE模型上沒什么新穎之處，只不過是比較早的利用卷積神經(jīng)網(wǎng)絡(luò)來對(duì)KGE進(jìn)行建模。
如下圖所示，CapsE采用膠囊神經(jīng)網(wǎng)絡(luò)模型，首先把頭實(shí)體、關(guān)系、尾實(shí)體表示稱 k × 3 k\times 3 k×3的矩陣，接下來通過卷積層獲取其特征信息，然后對(duì)特征信息進(jìn)行壓縮，并進(jìn)行動(dòng)態(tài)路由，最后計(jì)算三元組的可信度，膠囊網(wǎng)絡(luò)資料可參考蘇神博客。CapsE只是膠囊網(wǎng)絡(luò)在KGE問題上的簡單應(yīng)用，也沒有特別新穎之處。
如下圖所示，KG-BERT模型利用BERT進(jìn)行fine-tuning，獲取頭實(shí)體、關(guān)系、尾實(shí)體信息，然后取CLS信息進(jìn)行二分類，判斷當(dāng)前三元組可信度。
KGE除了利用卷積神經(jīng)網(wǎng)絡(luò)、膠囊網(wǎng)絡(luò)、BERT模型外，也有模型利用深度神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)等方法，但均沒有進(jìn)行深層次擴(kuò)展。個(gè)人認(rèn)為，普通的神經(jīng)網(wǎng)絡(luò)模型不是特別適合解決KGE問題，不能夠?qū)χR(shí)圖譜中實(shí)體的層次性、關(guān)系的多樣性問題建模，僅僅只是獲取實(shí)體和關(guān)系的深層次交互信息，沒有可解釋性。但可以多嘗試圖神經(jīng)網(wǎng)絡(luò)在KGE上的應(yīng)用，比較符合圖譜結(jié)構(gòu)。
2.4 雙曲幾何模型
上面多次提到實(shí)體間具有層次性，比如爺爺–父親–兒子關(guān)系，類似于樹狀結(jié)構(gòu)。此時(shí)，可以利用雙曲空間性質(zhì)，在雙曲空間中對(duì)實(shí)體的層次性建模，包括Poincare, MuRP等模型。
Poincare采用雙曲幾何中的龐加萊圓盤進(jìn)行建模，其空間曲率為負(fù)。通過下圖我們可以簡單了解龐加萊圓盤性質(zhì)，如下圖（1）所示，是龐加萊圓盤中的測地線，可看作直線在雙曲空間中的推廣。如圖（2）所示，圖中每兩個(gè)點(diǎn)之間線代表的長度是相同的。也就是說，離中心越遠(yuǎn), 單位歐幾里得空間的線段所代表的長度越長。如圖（3）所示，當(dāng) ∣ ∣ u ∣ ∣ 2 ||u||^{2} ∣∣u∣∣2和 ∣ ∣ v ∣ ∣ 2 ||v||^{2} ∣∣v∣∣2趨近于1時(shí)，距離會(huì)變得無限大。雙曲空間中兩點(diǎn)之間距離計(jì)算方法為
d ( h , t ) = a r c o s h ( 1 + 2 ∣ ∣ h ? t ∣ ∣ 2 2 ( 1 ? ∣ ∣ h ∣ ∣ 2 2 ) ( 1 ? ∣ ∣ t ∣ 2 2 ∣ ) ) d(h, t) = arcosh(1 + 2 \frac{||h - t||_{2}^{2}}{(1-||h||_{2}^{2})(1-||t|_{2}^{2}|)}) d(h,t)=arcosh(1+2(1?∣∣h∣∣22?)(1?∣∣t∣22?∣)∣∣h?t∣∣22??)
因?yàn)辇嫾尤R圓盤性質(zhì)，能夠?qū)?shí)體間的層次性建模，學(xué)習(xí)圖譜間的層次性信息。Poincare模型評(píng)分函數(shù)為 f r ( h , t ) = ∑ ( h , t ) ∈ D l o g e ? d ( h , t ) ∑ t ′ e ? d ( h , t ′ ) f_{r}(h,t) = \sum_{(h,t) \in D} log \frac{e^{-d(h, t)}}{\sum_{t'}e^{-d(h, t')}} fr?(h,t)=∑(h,t)∈D?log∑t′?e?d(h,t′)e?d(h,t)?，其中 ( h , t ′ ) (h,t') (h,t′)為負(fù)樣本，其目標(biāo)是讓相關(guān)聯(lián)的三元組在龐加萊圓盤中具有更小的距離。但Poincare模型沒有考慮到關(guān)系性質(zhì)，而且不能夠在龐加萊圓盤中進(jìn)行復(fù)雜操作。另外，雙曲空間需要黎曼優(yōu)化方法，建議自行去了解相關(guān)數(shù)學(xué)知識(shí)，包括黎曼曲率張量、黎曼流形、黎曼優(yōu)化等概念。
MuRP相對(duì)于Poincare而言更加完善，MuRP同時(shí)在雙曲空間和歐式空間中建模，結(jié)合關(guān)系向量，能夠處理圖譜中所存在的多類型關(guān)系。MuRP首先將實(shí)體向量定義在龐加萊圓盤中，接下來將實(shí)體映射到歐式空間，并和關(guān)系進(jìn)行操作，然后再將實(shí)體映射回龐加萊圓盤中進(jìn)行距離計(jì)算，并用黎曼方法優(yōu)化。MuRP評(píng)分函數(shù)為 f r ( h , t ) = ? d B ( e x p 0 c ( R l o g 0 c ( h ) ) , r ⊕ c t ) 2 + b h + b t f_{r}(h,t) = -d_{\mathbb{B}}(exp_{0}^{c}(Rlog_{0}^{c}(h)), r\oplus_{c}t)^2 + b_h + b_t fr?(h,t)=?dB?(exp0c?(Rlog0c?(h)),r⊕c?t)2+bh?+bt?，其中 d B d_{\mathbb{B}} dB?表示在龐加萊圓盤中計(jì)算距離， l o g 0 c ( ? ) log_{0}^{c}(\cdot) log0c?(?)表示將龐加萊圓盤中的點(diǎn)映射到歐式空間， R R R表示對(duì)角矩陣， e x p 0 c ( ? ) exp_{0}^{c}(\cdot) exp0c?(?)表示將歐式空間中的點(diǎn)轉(zhuǎn)移到龐加萊圓盤中， ⊕ c \oplus_c ⊕c?是莫比烏斯加法，為龐加萊空間中兩向量相加， c c c表示曲率。另外， b h , b t b_h, b_t bh?,bt?表示頭尾實(shí)體的偏置，如下圖（2）所示，距離在 ( b h + b t ) \sqrt{(b_h + b_t)} (bh?+bt?)?內(nèi)均為正確的三元組。
d B = 2 c t a n h ? 1 ( c ∣ ∣ ? x ⊕ c y ∣ ∣ ) d_{\mathbb{B}} = \frac{2}{\sqrt{c}}tanh^{-1}(\sqrt{c}||-x\oplus_cy||) dB?=c?2?tanh?1(c?∣∣?x⊕c?y∣∣)
x ⊕ c y = ( 1 + 2 c < x , y > + c ∣ ∣ y ∣ ∣ 2 ) x + ( 1 ? c ∣ ∣ x ∣ ∣ 2 ) y 1 + 2 c < x , y > + c 2 ∣ ∣ x ∣ ∣ 2 ∣ ∣ y ∣ ∣ 2 x\oplus_c y = \frac{(1+2c<x,y> + c||y||^2)x + (1-c||x||^2)y}{1+2c<x, y> + c^2 ||x||^2||y||^2} x⊕c?y=1+2c<x,y>+c2∣∣x∣∣2∣∣y∣∣2(1+2c<x,y>+c∣∣y∣∣2)x+(1?c∣∣x∣∣2)y?
e x p x c ( v ) = x ⊕ c ( t a n h ( c λ x c ∣ ∣ v ∣ ∣ 2 ) v c ∣ ∣ v ∣ ∣ ) exp_{x}^c(v) = x\oplus_c \left(tanh\left(\sqrt{c} \frac{\lambda_x^c||v||}{2}\right)\frac{v}{\sqrt{c}||v||}\right) expxc?(v)=x⊕c?(tanh(c?2λxc?∣∣v∣∣?)c?∣∣v∣∣v?)
l o g x c ( y ) = 2 c λ x c t a n h ? 1 ( c ∣ ∣ ? x ⊕ c y ∣ ∣ ) ? x ⊕ c y ? x ⊕ c y log_x^c(y) = \frac{2}{\sqrt{c}\lambda_x^c}tanh^{-1} (\sqrt{c}||-x\oplus_c y||)\frac{-x\oplus_cy}{-x\oplus_cy} logxc?(y)=c?λxc?2?tanh?1(c?∣∣?x⊕c?y∣∣)?x⊕c?y?x⊕c?y?
通過Poincare和MuRP模型能夠看出，雙曲空間對(duì)于數(shù)學(xué)要求比較高，但雙曲幾何確實(shí)能夠?qū)D譜進(jìn)行層次性信息建模，解決實(shí)體間的多類型關(guān)系。除了利用雙曲空間中的龐加萊圓盤外，還有的模型利用李群、李代數(shù)等知識(shí)，此處不再贅述。數(shù)學(xué)較好的同學(xué)，可以深層次的研究雙曲空間在KGE問題上的應(yīng)用。
2.5 旋轉(zhuǎn)模型
旋轉(zhuǎn)模型把關(guān)系當(dāng)作頭實(shí)體和尾實(shí)體之間的旋轉(zhuǎn)，包括RotatE、QuatE、DihEdral等模型。
RotatE認(rèn)為知識(shí)庫中存在多種類型的關(guān)系，如symmetry(e.g., marriage), antisymmetry(e.g., filiation), inversion(e.g., hypernym and hyponym), composition(e.g., my mother’s husband is my father)關(guān)系，但以往的TransE, RESCAL, ConvE等模型均不能夠解決上述關(guān)系。因此，如下圖（2）所示，RotatE提出在復(fù)數(shù)空間中建模，把關(guān)系當(dāng)作頭尾實(shí)體之間的旋轉(zhuǎn)，并定義評(píng)分函數(shù)為 f r ( h , t ) = ∣ ∣ h ° r ? t ∣ ∣ f_{r}(h,t) = ||h\circ r - t|| fr?(h,t)=∣∣h°r?t∣∣，其中 { h , r , t } = e i θ = c o s θ + i s i n θ \{h,r,t\} = e^{i\theta} = cos\theta + i sin \theta {h,r,t}=eiθ=cosθ+isinθ，RotatE從理論上證明能夠解決對(duì)稱/反對(duì)稱、翻轉(zhuǎn)、組合關(guān)系。另外，RotatE認(rèn)為在訓(xùn)練過程中，很多三元組明顯是錯(cuò)誤的，因此RotatE提出自對(duì)抗的負(fù)采樣方法，讓錯(cuò)誤樣本更加明顯，負(fù)采樣和損失函數(shù)公式如下所示。
p ( h j ′ , r , t j ′ ∣ { ( h i ′ , r , t i ′ ) } ) = e x p ( α ? f r ( h j ′ , t j ′ ) ) ∑ i e x p ( α ? f r ( h i ′ , t i ′ ) ) p(h_{j}^{'}, r, t_{j}^{'}|\{(h_i^{'}, r, t_i^{'})\}) = \frac{exp (\alpha*f_r(h_j', t_j'))}{\sum_iexp(\alpha*f_r(h_i', t_i'))} p(hj′?,r,tj′?∣{(hi′?,r,ti′?)})=∑i?exp(α?fr?(hi′?,ti′?))exp(α?fr?(hj′?,tj′?))?
L = ? l o g σ ( γ ? f r ( h , t ) ) ? ∑ i = 1 n p ( h i ′ , r , t i ′ ) l o g σ ( f r ( h i ′ , t i ′ ) ? γ ) \mathbb{L} = -log\sigma(\gamma - f_r(h, t)) - \sum_{i=1}^{n} p(h_{i}^{'}, r, t_{i}^{'})log \sigma(f_r(h_{i}', t_{i}') - \gamma) L=?logσ(γ?fr?(h,t))?i=1∑n?p(hi′?,r,ti′?)logσ(fr?(hi′?,ti′?)?γ)
RotatE是在二維復(fù)平面空間中進(jìn)行操作，那么很自然的可以推廣到三維復(fù)平面空間中。三維情況下旋轉(zhuǎn)可以利用歐拉角和四元數(shù)等方法，但歐拉角存在死鎖問題，因此QuatE采用四元數(shù)進(jìn)行旋轉(zhuǎn)，四元數(shù)可表示為 Q = a + b i + c j + d k Q = a + bi + cj + dk Q=a+bi+cj+dk。QuatE定義評(píng)分函數(shù)為 f r ( h , t ) = h ? r ? ? t f_{r}(h, t) = h \otimes r^{\triangleleft} \cdot t fr?(h,t)=h?r??t，其中 h , r , t h, r, t h,r,t均為四元數(shù)， r ? r^{\triangleleft} r?表示 r r r的norm值， ? \otimes ?表示Hamilton product， ? \cdot ?表示內(nèi)積。當(dāng)然，繼續(xù)推廣，可以利用8元數(shù)進(jìn)行旋轉(zhuǎn)，但此時(shí)復(fù)雜度升高，結(jié)果并沒有提升太多。再往上推廣，有16元數(shù)，但16元數(shù)的乘法不滿足交換律和結(jié)合律，因此不再考慮。
除了RotatE和QuatE利用復(fù)數(shù)空間解決對(duì)稱/反對(duì)稱、翻轉(zhuǎn)、組合關(guān)系，DihEdral利用群論知識(shí)來解決上述關(guān)系。DihEdral采用二面體群進(jìn)行旋轉(zhuǎn)，如下圖所示，二面體群具有兩種性質(zhì)，即旋轉(zhuǎn)和對(duì)稱操作。DihEdral將多個(gè)二面體群組成對(duì)角矩陣，并定義評(píng)分函數(shù)為 f r ( h , t ) = ∣ ∣ R T h ? t ∣ ∣ 2 2 f_r(h, t) = ||R^Th - t||_{2}^{2} fr?(h,t)=∣∣RTh?t∣∣22?，其中 R R R是二面體群組成的對(duì)角矩陣，具體構(gòu)建方法可以看原論文。同樣，DihEdral能夠從理論上解決對(duì)稱/反對(duì)稱、翻轉(zhuǎn)、組合（Abelian, Non-Abelian）關(guān)系，如果對(duì)群論比較熟悉的同學(xué)，可以繼續(xù)擴(kuò)展，從群論+旋轉(zhuǎn)+多類型關(guān)系的角度來解決KGE問題。
通過RotatE、QuatE、DihEdral模型能夠看出，均是利用旋轉(zhuǎn)特性來解決知識(shí)庫中存在的對(duì)稱/反對(duì)稱、翻轉(zhuǎn)、組合關(guān)系，但知識(shí)庫中不僅僅存在這幾種關(guān)系，還可以繼續(xù)挖掘其他關(guān)系。同時(shí)，還可以繼續(xù)研究其他旋轉(zhuǎn)方法來解決KGE問題，比如群論方向，因?yàn)閳D譜完美符合群論的四個(gè)性質(zhì)。
2.6 其他模型
除了上述介紹的翻譯、雙線性、神經(jīng)網(wǎng)絡(luò)、雙曲幾何、旋轉(zhuǎn)模型外，還有的模型從路徑、距離度量等角度去解決KGE問題，此處不再贅述。
3.總結(jié)
從上面介紹的模型可以看出，KGE問題可首先關(guān)注如下方面：
除此之外，個(gè)人認(rèn)為可深入研究的點(diǎn)包括圖神經(jīng)網(wǎng)絡(luò)、歐式或雙曲空間中實(shí)體的層次性問題、旋轉(zhuǎn)模型解決關(guān)系多樣性（群論角度）。同時(shí)，還需要重點(diǎn)關(guān)注負(fù)采樣方法、損失函數(shù)、數(shù)據(jù)增強(qiáng)問題（比如（h, r, t）可擴(kuò)展增加（t, r_inverse, h））。
文中所介紹到的論文如下所示，多數(shù)模型的代碼都可在原論文中找到。如果想要使用已訓(xùn)練好的Wikidata, Freebase的Embedding信息，可以從清華OpenKE網(wǎng)站下載，個(gè)人訓(xùn)練的話可以使用OpenKE項(xiàng)目。
[1]: Translating Embeddings for Modeling Multi-relational Data “TransE”
[2]: Knowledge Graph Embedding by Translating on Hyperplanes “TransH”
[3]: Learning Entity and Relation Embeddings for Knowledge Graph Completion “TransR”
[4]: A Three-Way Model for Collective Learning on Multi-Relational Data “RESCAL”
[5]:Embedding entities and relations for learning and inference in knowledge bases “DisMult”
[6]: Complex embeddings for simple link prediction “ComplEx”
[7]: Convolutional 2D Knowledge Graph Embeddings “ConvE”
[8]: A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization “CapsE”
[9]: KG-BERT: BERT for Knowledge Graph Completion “KG-BERT”
[10]: Poincare Embeddings for Learning Hierarchical Representations “Poincare”
[11]: Multi-relational Poincaré Graph Embeddings “MuRP”
[12]: ROTATE: KNOWLEDGE GRAPH EMBEDDING BY RELATIONAL ROTATION IN COMPLEX SPACE “RotatE”
[13]: Quaternion Knowledge Graph Embeddings “QuatE”
[14]: Relation Embedding with Dihedral Group in Knowledge Graph “DihEdral”
總結(jié)
以上是生活随笔為你收集整理的知识图谱嵌入(KGE)主流模型简介的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 米斯齐超声波传感器显示测量距离（oled
- 下一篇： 热爱，对待人生的首要态度