自然語(yǔ)言處理中的近似訓(xùn)練

跳字模型的核心在于使用softmax運(yùn)算得到給定中心詞$w_c$來(lái)生成背景詞$w_o$的條件概率

$$P(w_o\mid w_c)=\frac{\text{exp}({\mathbf{u}}_o^{?}{\mathbf{v}}_c)}{{\sum }_{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)}.$$

該條件概率相應(yīng)的對(duì)數(shù)損失

$$?\log P(w_o\mid w_c)=?{\mathbf{u}}_o^{?}{\mathbf{v}}_c+\log \left(\sum _{i\in \mathcal{V}}\text{exp}({\mathbf{u}}_i^{?}{\mathbf{v}}_c)\right).$$

由于softmax運(yùn)算考慮了背景詞可能是詞典$\mathcal{V}$中的任一詞，以上損失包含了詞典大小數(shù)目的項(xiàng)的累加。不論是跳字模型還是連續(xù)詞袋模型，由于條件概率使用了softmax運(yùn)算，每一步的梯度計(jì)算都包含詞典大小數(shù)目的項(xiàng)的累加。

對(duì)于含幾十萬(wàn)或上百萬(wàn)詞的較大詞典，每次的梯度計(jì)算開(kāi)銷(xiāo)可能過(guò)大。為了降低該計(jì)算復(fù)雜度，我們可以使用兩種近似訓(xùn)練方法，即負(fù)采樣（negative sampling）或?qū)有騭oftmax（hierarchical softmax）。由于跳字模型和連續(xù)詞袋模型類(lèi)似，本節(jié)僅以跳字模型為例介紹這兩種方法。

負(fù)采樣（negative sampling）

負(fù)采樣修改了原來(lái)的目標(biāo)函數(shù)。給定中心詞$w_c$的一個(gè)背景窗口，我們把背景詞$w_o$出現(xiàn)在該背景窗口看作一個(gè)事件，并將該事件的概率計(jì)算為

$$P(D=1\mid w_c,w_o)=\sigma ({\mathbf{u}}_o^{?}{\mathbf{v}}_c)$$

其中的$\sigma$函數(shù)與sigmoid激活函數(shù)的定義相同：

$$\sigma (x)=\frac{1}{1+\exp (?x)}.$$

我們先考慮最大化文本序列中所有該事件的聯(lián)合概率來(lái)訓(xùn)練詞向量。具體來(lái)說(shuō)，給定一個(gè)長(zhǎng)度為$T$的文本序列，設(shè)時(shí)間步$t$的詞為$w^{(t)}$且背景窗口大小為$m$，考慮最大化聯(lián)合概率

$$\prod _{t=1}^T\prod _{?m\le j\le m,j=0}P(D=1\mid w^{(t)},w^{(t+j)}).$$

然而，以上模型中包含的事件僅考慮了正類(lèi)樣本。這導(dǎo)致當(dāng)所有詞向量相等且值為無(wú)窮大時(shí)，以上的聯(lián)合概率才被最大化為1。很明顯，這樣的詞向量毫無(wú)意義。

負(fù)采樣通過(guò)采樣并添加負(fù)類(lèi)樣本使目標(biāo)函數(shù)更有意義。設(shè)背景詞$w_o$出現(xiàn)在中心詞$w_c$的一個(gè)背景窗口為事件$P$，我們根據(jù)分布$P(w)$采樣$K$個(gè)未出現(xiàn)在該背景窗口中的詞，即噪聲詞。設(shè)噪聲詞$w_k$（$k=1,\dots ,K$）不出現(xiàn)在中心詞$w_c$的該背景窗口為事件$N_k$。假設(shè)同時(shí)含有正類(lèi)樣本和負(fù)類(lèi)樣本的事件$P,N_1,\dots ,N_K$相互獨(dú)立，負(fù)采樣將以上需要最大化的僅考慮正類(lèi)樣本的聯(lián)合概率改寫(xiě)為

$$\prod _{t=1}^T\prod _{?m\le j\le m,j=0}P(w^{(t+j)}\mid w^{(t)}),$$

其中條件概率被近似表示為 $$P(w^{(t+j)}\mid w^{(t)})=P(D=1\mid w^{(t)},w^{(t+j)})\prod _{k=1,w_k～P(w)}^{K}P(D=0\mid w^{(t)},w_k).$$

設(shè)文本序列中時(shí)間步$t$的詞$w^{(t)}$在詞典中的索引為$i_t$，噪聲詞$w_k$在詞典中的索引為$h_k$。有關(guān)以上條件概率的對(duì)數(shù)損失為

$$\begin{array}{rl}?\log P(w^{(t+j)}\mid w^{(t)})=& ?\log P(D=1\mid w^{(t)},w^{(t+j)})?\sum _{k=1,w_k～P(w)}^K\log P(D=0\mid w^{(t)},w_k)\\ =& ?\log \sigma \left({\mathbf{u}}_{i_{t+j}}^{?}{\mathbf{v}}_{i_t}\right)?\sum {k=1,w_k～P(w)}^K\log \left(1?\sigma \left({\mathbf{u}}_{h_k}^{?}{\mathbf{v}}_{i_t}\right)\right)\\ =& ?\log \sigma \left({\mathbf{u}}_{i_{t+j}}^{?}{\mathbf{v}}_{i_t}\right)?\sum {k=1,w_k～P(w)}^K\log \sigma \left(?{\mathbf{u}}_{h_k}^{?}{\mathbf{v}}_{i_t}\right).\end{array}$$

現(xiàn)在，訓(xùn)練中每一步的梯度計(jì)算開(kāi)銷(xiāo)不再與詞典大小相關(guān)，而與$K$線性相關(guān)。當(dāng)$K$取較小的常數(shù)時(shí)，負(fù)采樣在每一步的梯度計(jì)算開(kāi)銷(xiāo)較小。

總結(jié)

以上是生活随笔為你收集整理的深度学习-自然语言处理中的近似训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。