為了解決TransE模型在處理一對多 、 多對一 、多對多復(fù)雜關(guān)系時的局限性，TransH模型提出讓一個實體在不同的關(guān)系下?lián)碛胁煌谋硎尽Ｈ缦鹿剿?#xff0c;對于關(guān)系$r$，TransH模型同時使用平移向量$r$和超平面的法向量$w_r$來表示它。對于一個三元組$(h,r,t)$ , TransH首先將頭實體向量$h$和尾實體向量$r$，沿法線$w_r$，映射關(guān)系$r$對應(yīng)的超平面上，用$h_{\perp }$和$t_{\perp }$表示如下:
$$\begin{gathered} h_{\perp }=h?w_r^{?}h{w}_r \\ {t}_{\perp }=t?w_r^{?}t{w}_r \end{gathered}$$
需要注意的是，由于關(guān)系r:可能存在無限個超平面，TransH簡單地令r與w_r,近似正交來選取某一個超平面。TransH 使不同的實體在不同的關(guān)系下?lián)碛辛瞬煌谋硎拘问?#xff0c;但由于實體向量被投影到了關(guān)系的語義空間中，故它們具有相同的維度。

我們可以通過先下面這圖來進(jìn)一步加深對這個超平面概念的理解:

根據(jù)上圖，我們可以得一個三元組元素的數(shù)學(xué)表示，h和t分別代表頭結(jié)點和尾節(jié)點的向量，而關(guān)系超平面由平面的法向量$w_r$以及平面上的平移向量 $d_r$表示。

具體的算法實現(xiàn)，對于一個三元組，我們首先需要將h和t映射到我們的超平面上，從而得到映射向量 [公式] 和 [公式] , 具體公式如下：
$$\begin{gathered} h_{\perp }=h?w_r^{?}h{w}_r \\ {t}_{\perp }=t?w_r^{?}t{w}_r \end{gathered}$$

其中簡單說明下$w_r^{?}h{w}_r$的含義，這里$w_r^{?}h=|w||h|cos\theta$表示$h$在$w_r$方向上投影的長度（帶正負(fù)號），乘以$w_r$即$h$在$w_r$上的投影。

得到投影之后，我們就可以根據(jù)下面的score function來求得三元組的差值：
$$f_r(h,t)=||(h?w_r^{?}h{w}_r)+d_r?(t?w_r^{?}t{w}_r)|{|}_2^2$$
這個公式中所期望的結(jié)果為，如果三元組關(guān)系是正確的，則結(jié)果數(shù)值較小，反之則結(jié)果數(shù)值較大。

為了實現(xiàn)上述所期望的結(jié)果，作者引入了margin-base ranking function 作為損失函數(shù)來訓(xùn)練模型：
$$\mathcal{L}=\sum _{(h,r,t)\in \Delta }\sum _{(h^{\prime },r^{\prime },t^{\prime })\in {\Delta }_{(h^{\prime },r^{\prime },t^{\prime })}}[f_r(h,t)+\gamma ?f_{r^{\prime }}(h^{\prime }+t^{\prime }){]}_{+}$$
其中，$[x]+$看做$max(0,x)$，$\Delta$表示正確三元組的集合，${\Delta }^{\prime }$表示負(fù)例集合，$\gamma$為margin值用于區(qū)分正例和負(fù)例。這個loss通過Mini-SGD進(jìn)行訓(xùn)練，需要強(qiáng)調(diào)的一點是，訓(xùn)練過程中，需要讓$f_r(h,t)$盡可能的小，$f_{r^{\prime }}(h^{\prime },t^{\prime })$盡可能大。

除此之外，在最小化loss function的過程中，模型還需要遵循三個軟約束原則：
$$\begin{gathered} ?e\in E,||e|{|}_2\le 1,//scale(1) \\ ?r\in R,|w_r^{?}{d}_r|/||d_r|{|}_2\le ?,//orthogonal(2) \\ ?r\in R,||w_r|{|}_2=1,//unitnormalvector(3) \end{gathered}$$
公式一是保證所有實體的embedding都?xì)w一化。
公式二則用于保證$w_r$和$d_r$正交垂直，保證$d_r$在超平面上。
公式三則保證法向量的模為1。

為了體現(xiàn)上面三個約束條件，需要對loss function進(jìn)行修改，加上對公式一和公式二的約束：
$$\begin{gathered} \mathcal{L}=\sum _{(h,r,t)\in \Delta }\sum _{(h^{\prime },r^{\prime },t^{\prime })\in {\Delta }_{(h^{\prime },r^{\prime },t^{\prime })}}[f_r(h,t)+\gamma ?f_{r^{\prime }}(h^{\prime }+t^{\prime }){]}_{+}+C\left\{\sum _{e\in E}{\left[{\Vert e\Vert }_2^2?1\right]}_{+}+\sum _{r\in R}{\left[\frac{(w_r^{?}{d}_r{)}^2}{{\Vert d_r\Vert }_2^2}?{?}^2\right]}_{+}\right\} \\ (4) \end{gathered}$$
其中C表示軟約束的權(quán)重，它也是訓(xùn)練過程中的一個超參數(shù)。

而公式三則是在每次Mini-SGD后，對 $w_r$結(jié)果進(jìn)行歸一化實現(xiàn)。

最后，TransH與TransE還有一點不同之處，在于負(fù)例的生成。現(xiàn)實中的知識圖譜不完整，需要減少假負(fù)例（即替換了一個節(jié)點后的三元組，恰好是整個知識圖譜中存在的另一個三元組）的出現(xiàn)，因此需要根據(jù)頭尾節(jié)點關(guān)系，進(jìn)行節(jié)點替換，比如，對于一對多的關(guān)系，我們更多的替換頭結(jié)點而不是尾節(jié)點，這樣才能避免假負(fù)例出現(xiàn)的情況，具體的標(biāo)準(zhǔn)如下:

對于一個關(guān)系$r$, 我們首先要統(tǒng)計兩個數(shù)值，即這個關(guān)系每個頭結(jié)點平均對應(yīng)的尾節(jié)點數(shù)，記做$tph$；及這個關(guān)系每一個尾節(jié)點平均對應(yīng)的頭節(jié)點數(shù)，記做 $hpt$ 。最后通過公式$p=\frac{tph}{tph+hpt}$來表示頭結(jié)點被替換的概率，而尾節(jié)點替換的概率為$1?p$

相比于transE， TransH新增了很多參數(shù)，使得loss 在SGD中求梯度變得更為復(fù)雜，下面簡單介紹下，各個參數(shù)梯度求解結(jié)果。首先Loss 可以分解為一下三個式子:

其中Loss1的各參數(shù)求導(dǎo)如下:

總結(jié)

以上是生活随笔為你收集整理的TransH的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。