MLP

MLP流程

激活函數

softmax函數

包括輸入層，若干隱藏層，輸出層的多層全連接網絡。
整體流程：輸入向量->線性關系（權重W，偏置b）->激活函數（sigmoid等）->隱藏層L1->線性關系->激活函數->隱藏層L2->…->輸出層

RNN

RNN流程
當前隱藏層St不僅由當前輸入Xt決定，還受前一個隱藏層St-1影響

BiRNN

RNN,BiRNN,LSTM
每一個隱藏層包括前向層和后向層，他們以不同權重作用于輸出層。前向層St不僅由當前輸入Xt決定，還受前一個隱藏層St-1影響；后向層St‘不僅由當前輸入Xt決定，還受后一個隱藏層St+1’影響。

總結

以上是生活随笔為你收集整理的神经网络入门-MLP, RNN, BiRNN的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。