1. 長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

1.1 長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

• 長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（Long Short Term Memory, LSTM ）是一種RNN特殊的類型，可以學(xué)習(xí)長期依賴信息。在很多問題上，LSTM都取得巨大的成功，并得到了廣泛的應(yīng)用。
• LSTM能夠有效捕捉長序列之間的語義關(guān)聯(lián), 緩解梯度消失或爆炸現(xiàn)象. 同時(shí)LSTM的結(jié)構(gòu)更復(fù)雜, 它的核心結(jié)構(gòu)可以分為四個(gè)部分去解析，具體包括遺忘門、輸入門、細(xì)胞狀態(tài)、輸出門

1.2 LSTM的網(wǎng)絡(luò)結(jié)構(gòu)

• 遺忘門：LSTM的遺忘門通過sigmiod函數(shù)決定哪些信心會(huì)被遺忘，經(jīng)過sigmoid函數(shù)，會(huì)輸出0~1之間的一個(gè)值，這個(gè)值會(huì)和前一次的細(xì)胞狀態(tài)進(jìn)行點(diǎn)乘，從而決定遺忘或者保留
  

• 輸入門：LSTM的輸入門決定哪些新的信息會(huì)被保留，這個(gè)過程有兩步：

  • 輸入信息經(jīng)過sigmoid層決定哪些信息會(huì)被更新
  • tanh會(huì)創(chuàng)出一個(gè)新的候選向量，后續(xù)會(huì)被添加到細(xì)胞狀態(tài)中

• 細(xì)胞狀態(tài)更新：

  • 舊的細(xì)胞狀態(tài)和遺忘門結(jié)果相乘
  • 然后加上輸入門和tanh相乘的結(jié)果
    

• 輸出門：LSTM的輸出決定哪些信息會(huì)被輸出，同樣這個(gè)輸出經(jīng)過變換之后會(huì)通過sigmoid函數(shù)的結(jié)果來決定那些細(xì)胞狀態(tài)會(huì)被輸出。

1.3 步驟

• 步驟一：導(dǎo)入工具庫

import torch import torch.nn as nn

• 步驟二：LSTM網(wǎng)絡(luò)搭建

class LstmModel(nn.Module):def __init__(self):super(LstmModel,self).__init__()self.rnn = nn.LSTM(input_size=1,hidden_size=32,num_layers=1)self.out = nn.Linear(32,1)def forward(self,x,h):# x (time_step, batch_size,input_size)out,h = self.rnn(x,h)prediction = self.out(out)return prediction,h

• 步驟三：輸出模型結(jié)構(gòu)

rnn = LstmModel() print(rnn)

1.4 運(yùn)行結(jié)果

運(yùn)行結(jié)果： D:/Users/tarena/PycharmProjects/nlp/unit30/lstm_model.py LstmModel((rnn): LSTM(1, 32)(out): Linear(in_features=32, out_features=1, bias=True) )Process finished with exit code 0

總結(jié)

以上是生活随笔為你收集整理的二十五、长短时记忆神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。