算法基础——递归神经网络RNN
生活随笔
收集整理的這篇文章主要介紹了
算法基础——递归神经网络RNN
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
CNN主要用于CV領域,RNN主要用于NLP領域,RNN的輸入數據是文本數據。
?假設? ?t1 時刻,有輸入x1進入隱藏層,得到特征h1,h1會返回和 t2 時刻的輸入x2一起輸入隱藏層,得到特征h2,h2接著返回,依次類推,前一層的輸出結果保留下來,參與下一層的運算。RNN網絡考慮時間序列的一些事情,不同時刻的輸出都有一定的聯系。?
?
在RNN中,信息只在一個方向上移動。當它作出決定時,會考慮當前的輸入以及它從之前收到的輸入中學到的內容。
?ht 是前面所有的中間特征綜合起來得到的結果,我們需要的結果是最后輸出 ht,不是中間結果h1,h2.....等。
傳統神經網絡將權重矩陣分配給其輸入,然后生成輸出。RNN將權重應用于當前以及之前的輸入。此外,他們還通過梯度下降和反向傳播時間調整權重。
輸入隨機初始化為50維的向量,權重參數w也是隨機初始化的。?
總結
以上是生活随笔為你收集整理的算法基础——递归神经网络RNN的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Android之解压缩ramdisk文件
- 下一篇: Python读取 xlsb 文件格式