RNN的關鍵點：具有記憶性，按照時間節點
不同的輸入訓練按照時間進行，并參照上一次的訓練結果
有不同的RNN結構

• Elman 結構

將hidden的結果存儲并用于下一次計算

• Jordan 結構

將最終的輸出存儲并用于下一次計算

• 雙向網絡

• LSTM（long short-term memory)
  
  具體運算如下：假設輸入時z，其他的操控的輸入分布式zi,zo,zf
  
  當采用sigmoid 函數時，根據其輸出的0或1，得到是否改變存儲空間數值。
• LSTM舉例
  假設規則如下：輸入x是三維向量，輸出y是一維向量。其關系如下：
  
  
  如上圖所示，假設初始memory中的數值為0，藍色表征數字，第二列，x2=1，則將x1的數值和memory中的數值相加，得到“3”存入memory中，第四列x2=1，得到“3+4=7”，以此類推，得到相應輸出。
  放入剛才的memory cell中，如圖
  
  假設權值已經知道，將每一次的輸入代入，按照之前的運算規則，可以計算出輸出。
  將這里的memory block直接替換之前的神經元
  
  
  此時，由于輸入還要取操控其他的gate，所以需要的參數比原始的網絡更多一些。
  為了簡化這個描述，將控制四個gate的輸入表征為4個向量，每個向量中的維數就是有多少個block
  
  
  
• Learning target
  如何定義cost function？這里給了一個語音識別的例子。
  
  對每一個字母進行training后的結果與reference中做對應
  BPPT: backpropagation through time
  

加入時間的因素，用之前同樣的BP算法學習對應參數

總結

以上是生活随笔為你收集整理的李宏毅机器学习-- RNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。