/*?版權聲明：可以任意轉載，轉載時請標明文章原始出處和作者信息?.*/

?????????????????????????????????????? author: 張俊林

注：本文是《深度學習解決機器閱讀理解任務的研究進展》節選，該文將于近期在“深度學習大講堂”公眾號發布。

---

2.1文章和問題的表示方法

? ?用神經網絡處理機器閱讀理解問題，首先面臨的問題就是如何表示文章和問題這兩個最重要的研究對象。我們可以從現有機器閱讀理解相關文獻中歸納總結出常用的表示方法，當然這些表示方法不僅僅局限于閱讀理解問題，也經常見于NLP其他子領域中。

?? ?圖4.文檔表示方法：模型一

首先，對于機器閱讀理解中的文章來說，有兩種常見的文章內容表達方式。最常見的一種即是將一篇文章看成有序的單詞流序列（參考圖4的模型一），在這個有序序列上使用RNN來對文章進行建模表達，每個單詞Dt對應RNN序列中的一個時間步t的輸入，RNN的隱層狀態Ht代表融合了Dt本身詞義以及其上下文語義的語言編碼。這種表示方法并不對文章整體語義進行編碼，而是對每個單詞及其上下文語義進行編碼，在實際使用的時候是使用每個單詞的RNN隱層狀態Ht來進行相關計算。至于具體的RNN模型，常見的有標準RNN、LSTM、GRU及其對應的雙向版本等。對于機器閱讀理解來說雙向RNN是最常用的表示方法，一般每個單詞的語義表示由正向RNN隱層狀態和反向RNN隱層狀態拼接來表示，即：

模型一往往在機器閱讀理解系統的原始輸入部分對文章進行表征，因為對于很多閱讀理解任務來說，本質上是從文章中推導出某個概率最大的單詞作為問題的答案，所以對文章以單詞的形式來表征非常自然。

另外一種常見的文章內容表達方式則是從每個單詞的語義表達推導出文章整體的Word Embedding表達，這種形式往往是在對問題和文章進行推理的內部過程中使用的表達方式。典型的表達過程如圖5所示的模型二所示。

???????????? 圖5. 文檔表示方法：模型二

? ? 模型二的含義是：首先類似于模型一，用雙向RNN來對每個單詞及其上下文進行語義表征，形成隱層狀態表示Ht，然后對于Ht向量的每一維數值，乘以某個系數，這個系數代表了單詞對于整個文章最終語義表達的重要程度，將每個單詞的系數調整后的隱層狀態Ht累加即可得到文章的Word Embedding語義表達。而每個單詞的權重系數通常用Attention計算機制來計算獲得，也有不使用權重系數直接累加的方式，這等價于每個單詞的權重系數都是1的情形，所以可以看作加權平均方法的特殊版本。以公式表達的話，文章的語義表達公式如下：

對于機器閱讀理解中的問題來說，有三種常見的語義表達方式。如果將查詢看作一種特殊的文章的話，很明顯文章的語義表達方式同樣可以用來表征問題的語義，也就是類似于文檔表示方法的模型一和模型二，除此外，還有另外一種不同的表達方式。問題的表示方法模型一如圖6所示，模型二如圖7所示，其代表的含義與文章表征方式相似，所以此處不贅述。

? 圖6.問題表示方式：模型一

???? 圖7.問題表示方法：模型二

問題表示方法的另外一種表示如圖8所示，我們可以稱之為模型三。

????????????? 圖8.問題表示方法：模型三

模型三也是在模型一的基礎之上的改進模型，也是NLP任務中表達句子語義的最常見的表達方式。首先類似于模型一，使用雙向RNN來表征每個單詞及其上下文的語義信息。對于正向RNN來說，其尾部單詞（句尾詞）RNN隱層節點代表了融合了整個句子語義的信息；而反向RNN的頭部單詞（句首詞）則逆向融合了整個句子的語義信息，將這兩個時刻RNN節點的隱層狀態拼接起來則可以表征問題的整體語義：

理論上模型三也可以用來表征文章的語義信息，但是一般不會這么用，主要原因是文章往往都比較長，RNN對于太長的內容表征能力不足，所以類似模型三的方法會存在大量的信息丟失，而“問題”一般來說都是比較短的一句話，所以用模型三表征是比較合適的。

以上介紹的幾個模型是在機器閱讀理解領域里常用的表征文章和問題的表示方法。下面我們從機器閱讀理解神經網絡結構的角度來進行常用模型的介紹。

掃一掃關注微信號：“布洛卡區” ，深度學習在自然語言處理等智能應用的技術研討與科普公眾號。

總結

以上是生活随笔為你收集整理的机器阅读理解中文章和问题的深度学习表示方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。