中文命名實體識別 (NER) 算法按照輸入的類型，可以大致分為 Character-based (字符) 和 Word-based (單詞) 兩種。這兩種方法都存在一些缺陷，Character-based 不能利用詞匯和詞匯序列信息；Word-based 需要分詞，分詞的錯誤會對 NER 結果產生較大影響。因此新加坡的研究者在 2018 年提出了一種 Lattice LSTM 的算法，可以利用詞匯信息，也可以避免分詞錯誤對模型的影響。

1.前言

基于字符和基于單詞的 LSTM 模型

如上圖所示，中文命名實體識別 NER 主要有 Character-based (基于字符) 方法和 Word-based (基于單詞) 方法：基于單詞的方法首先會利用分詞模型對句子分詞，然后把分好的單詞序列傳遞到 NER 模型中預測實體。基于字符的方法不對句子分詞，每一個 token 就是一個漢字，直接將 token 序列傳遞到 NER 模型預測實體。但是這兩種方法都存在一些問題：

• 基于字符的方法不能利用詞匯和詞匯序列的信息，而這些信息對于實體識別通常很重要。
• 基于單詞的方法需要經過分詞模型和 NER 模型，分詞中產生的錯誤會傳遞到 NER 模型中。這種分詞邊界的錯誤會導致 NER 模型出錯，這種情況在開放領域的 NER 任務中尤其嚴重。

基于上面的原因，新加坡的研究人員于 2018 年提出了 Lattice LSTM 模型，論文《Chinese NER Using Lattice LSTM》。Lattice LSTM 會利用詞典匹配句子中的單詞，然后構造出字符和單詞的網格 (Lattice)。Lattice LSTM 的神經元會同時接收字符和單詞的信息，自動選擇合適的字符或單詞，實現消除歧義的功能，如下圖所示。

單詞-字符 Lattice

2.Lattice LSTM

Lattice LSTM 結構圖

上圖展示了 Lattice LSTM 的結構，可以看成是 Char-LSTM 的擴展版。Lattice LSTM 在 Char-LSTM 的基礎上增加了 word-base cell 和額外的門結構，用于控制和選擇信息流。

Lattice LSTM 用到的一些數學符號如下圖所示：

Lattice LSTM 數學符號

我們首先看一下傳統 Char-LSTM 的計算公式，對于 LSTM 不熟悉的童鞋可以參考之前的文章《循環神經網絡 RNN、LSTM、GRU》。Char-LSTM 輸出主要包括 cell state c 和 hidden state h，計算公式如下：

傳統 Char-LSTM 計算公式

上面是 Char-LSTM 的計算公式，Lattice LSTM 在這基礎上增加了 word-base cell，用于計算單詞子序列的 cell state c。下面的圖展示了 word-base cell 的結構：

Lattice LSTM 細節圖

Word-base cell 計算公式如下，生成一個包含單詞信息的 cell state：

word-base cell 計算 cell state

在上式中，word-base cell 是不包括輸出門向量的，因為 Lattice LSTM 只在 Char-LSTM 上輸出。得到 word-base 的 cell state 后，Lattice 需要融合到 Char-LSTM 的 cell state 上，這一過程需要增加一個輸入門向量，并且要對輸入門向量進行歸一化，如下所示：

輸入門向量歸一化

最終 Lattice LSTM 得到第 j 個字符的 cell state 如下：

Lattice LSTM cell state 計算

Lattice LSTM 的 hidden state h 計算公式和 Char-LSTM 是一樣的，最終把 h 傳遞到 CRF 層即可進行命名實體識別。

3.總結

Lattice LSTM 優點：

• 可以同時利用中文字符和單詞的信息，通過增加 word-base cell 和控制門，對字符和單詞的信息進行選擇，消除歧義。

Lattice LSTM 缺點:

• 因為字符之間增加單詞節點的個數是不同的，因此 Lattice LSTM 不支持 batch 訓練。
• 如果句子中匹配的單詞過多，會導致 Lattice LSTM 效果變差 (可能會退化成為基于單詞的 LSTM)，受到分詞錯誤的影響。

4.參考文獻

Chinese NER Using Lattice LSTM

總結

以上是生活随笔為你收集整理的nlp 命名实体识别 算法_中文命名实体识别算法 Lattice LSTM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。