4.2 深层网络中的前向传播-深度学习-Stanford吴恩达教授
| 4.1 深層神經網絡 | 回到目錄 | 4.3 核對矩陣的維數 |
深層網絡中的前向傳播 (Forward Propagation in a Deep Network)
跟往常一樣,我們先來看對其中一個訓練樣本 xxx 如何應用前向傳播,之后討論向量化的版本。
第一層需要計算 z[1]=w[1]x+b[1],a[1]=g[1](z[1])(x可以看作a[0])z^{[1]}=w^{[1]}x+b^{[1]},\quad a^{[1]}=g^{[1]}(z^{[1]})\quad(x 可以看作a^{[0]})z[1]=w[1]x+b[1],a[1]=g[1](z[1])(x可以看作a[0])
第二層需要計算 z[2]=w[2]a[1]+b[2],a[2]=g[2](z[2])z^{[2]}=w^{[2]}a^{[1]}+b^{[2]},\quad a^{[2]}=g^{[2]}(z^{[2]})z[2]=w[2]a[1]+b[2],a[2]=g[2](z[2])
以此類推,
第四層為 z[4]=w[4]a[3]+b[4],a[4]=g[4](z[4])z^{[4]}=w^{[4]}a^{[3]}+b^{[4]},\quad a^{[4]}=g^{[4]}(z^{[4]})z[4]=w[4]a[3]+b[4],a[4]=g[4](z[4])
前向傳播可以歸納為多次迭代 z[l]=w[l]a[l?1]+b[l],a[l]=g[l](z[l])z^{[l]}=w^{[l]}a^{[l-1]}+b^{[l]},\quad a^{[l]}=g^{[l]}(z^{[l]})z[l]=w[l]a[l?1]+b[l],a[l]=g[l](z[l])
向量化實現過程可以寫成:
Z[l]=W[l]A[l?1]+b[l],A[l]=g[l](Z[l]),(A[0]=X)Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]},\quad A^{[l]}=g^{[l]}(Z^{[l]}),\quad (A^{[0]}=X)Z[l]=W[l]A[l?1]+b[l],A[l]=g[l](Z[l]),(A[0]=X)
這里只能用一個顯式for循環,lll 從1到 LLL ,然后一層接著一層去計算。下一節講的是避免代碼產生BUG,我所做的其中一件非常重要的工作。
課程PPT
| 4.1 深層神經網絡 | 回到目錄 | 4.3 核對矩陣的維數 |
總結
以上是生活随笔為你收集整理的4.2 深层网络中的前向传播-深度学习-Stanford吴恩达教授的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 4.1 深层神经网络-深度学习-Stan
- 下一篇: 4.3 核对矩阵的维数-深度学习-Sta