1. 時序模型

1.1 時序模型的特點

• 針對對象：序列數(shù)據(jù)。例如文本，是字母和詞匯的序列；語音，是音節(jié)的序列；視頻，是圖像的序列；氣象觀測數(shù)據(jù)，股票交易數(shù)據(jù)等等，也都是序列數(shù)據(jù)。
• 核心思想：樣本間存在順序關(guān)系，每個樣本和它之前的樣本存在關(guān)聯(lián)。通過神經(jīng)網(wǎng)絡(luò)在時序上的展開，我們能夠找到樣本之間的序列相關(guān)性。

1.2 時序模型的網(wǎng)絡(luò)結(jié)構(gòu)**

• 時序模型的結(jié)構(gòu)如圖所示
  

2 RNN概述

2.1 RNN的發(fā)展歷程

• 早期：在20世紀(jì)八九十年代，RNN的核心思想是重新使用參數(shù)和計算。
• 中期：除了LSTM外，RNN基本從主流研究中消失了。
• 當(dāng)前：應(yīng)用廣泛，自然語言處理、視頻建模、手寫識別和用戶意圖預(yù)測。
  

2.2 RNN基本框架

2.3 RNN典型應(yīng)用

3 RNN的網(wǎng)絡(luò)結(jié)構(gòu)

3.1 RNN的網(wǎng)絡(luò)結(jié)構(gòu)

• 循環(huán)神經(jīng)網(wǎng)絡(luò)可以對自然語言句子或是其他時序信號進行建模，RNN網(wǎng)絡(luò)結(jié)構(gòu)如圖所示。
  

3.2 RNN文本分類

循環(huán)神經(jīng)網(wǎng)絡(luò)開始從左到右閱讀這個句子，在未經(jīng)過任何閱讀之前，循環(huán)神經(jīng)網(wǎng)絡(luò)中的記憶向量是空白的。其處理邏輯如下：

• 網(wǎng)絡(luò)閱讀單詞“我”，并把單詞“我”的向量表示和空白記憶相融合，輸出一個向量h1用于表示“空白+我”的語義。
• 網(wǎng)絡(luò)開始閱讀單詞“愛”，這時循環(huán)神經(jīng)網(wǎng)絡(luò)內(nèi)部存在“空白+我”的記憶。循環(huán)神經(jīng)網(wǎng)絡(luò)會將“空白+我”和“愛”的向量表示相融合，并輸出“空白+我+愛”的向量表示h2用于表示“我愛”這個短語的語義信息。
• 網(wǎng)絡(luò)開始閱讀單詞“人工”，同樣經(jīng)過融合之后，輸出“空白+我+愛+人工”的向量表示h3，用于表示“空白+我+愛+人工”語義信息。
  最終在網(wǎng)絡(luò)閱讀了“智能”單詞后，便可以輸出“我愛人工智能”這一句子的整體語義信息。

總結(jié)

以上是生活随笔為你收集整理的自然语言处理之循环神经网络（五）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。