---

←上一篇↓↑下一篇→

3.12 總結習題	回到目錄	4.2 深層網絡中的前向傳播

---

深層神經網絡 (Deep L-layer Neural Network)

目前為止我們學習了只有一個單獨隱藏層的神經網絡的正向傳播和反向傳播，還有邏輯回歸，并且你還學到了向量化，這在隨機初始化權重時是很重要。

本周所要做的是把這些理念集合起來，就可以執行你自己的深度神經網絡。

復習下前三周的課的內容：

1.邏輯回歸，結構如下圖左邊。一個隱藏層的神經網絡，結構下圖右邊：

注意，神經網絡的層數是這么定義的：從左到右，由0開始定義，比如上邊右圖，$x_1、x_2、x_3$ ,這層是第0層，這層左邊的隱藏層是第1層，由此類推。如下圖左邊是兩個隱藏層的神經網絡，右邊是5個隱藏層的神經網絡。

嚴格上來說邏輯回歸也是一個一層的神經網絡，而上邊右圖一個深得多的模型，淺與深僅僅是指一種程度。記住以下要點：

有一個隱藏層的神經網絡，就是一個兩層神經網絡。記住當我們算神經網絡的層數時，我們不算輸入層，我們只算隱藏層和輸出層。

但是在過去的幾年中，DLI（深度學習學院 deep learning institute）已經意識到有一些函數，只有非常深的神經網絡能學會，而更淺的模型則辦不到。盡管對于任何給定的問題很難去提前預測到底需要多深的神經網絡，所以先去嘗試邏輯回歸，嘗試一層然后兩層隱含層，然后把隱含層的數量看做是另一個可以自由選擇大小的超參數，然后再保留交叉驗證數據上評估，或者用你的開發集來評估。

我們再看下深度學習的符號定義：

上圖是一個四層的神經網絡，有三個隱藏層。我們可以看到，第一層（即左邊數過去第二層，因為輸入層是第0層）有5個神經元數目，第二層5個，第三層3個。

我們用L表示層數，上圖： $L=4$ ，輸入層的索引為“0”，第一個隱藏層 $n^{[1]}=5$ ,表示有5個隱藏神經元，同理， $n^{[2]}=5,n^{[3]}=3,n^{[4]}=n^{[L]}=1$ ，（輸出單元為1）。而輸入層， $n^{[0]}=n_x=3$ 。

在不同層所擁有的神經元的數目，對于每層 $l$ 都用 $a^{[l]}$ 來記作 $l$ 層激活后結果，我們會在后面看到在正向傳播時，最終能你會計算出 $a^{[l]}$ 。

通過用激活函數 $g$ 計算 $z^{[l]}$ ，激活函數也被索引為層數 $l$ ，然后我們用 $w^{[l]}$ 來記作在 $l$ 層計算 $z^{[l]}$ 值的權重。類似的， $z^{[l]}$ 里的方程 $b^{[l]}$ 也一樣。

最后總結下符號約定：

輸入的特征記作 $x$ ，但是 $x$ 同樣也是0層的激活函數，所以 $x=a^{[0]}$。

最后一層的激活函數，所以 $a^{[L]}$ 是等于這個神經網絡所預測的輸出結果。

但是如果你忘記了某些符號的意義，請看筆記最后的附件：《深度學習符號指南》。

課程PPT

---

←上一篇↓↑下一篇→

3.12 總結習題	回到目錄	4.2 深層網絡中的前向傳播

---

總結

以上是生活随笔為你收集整理的4.1 深层神经网络-深度学习-Stanford吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。