目錄

1）Cost function

2）Backpropagation algorithm

3）Backpropagation intuition

4)? Gradient checking

5）Random initialization

6）Putting it together

---

注：吳恩達老師的機器學習課程對反向傳播算法介紹的不夠深入，如果想詳細了解的話建議看吳恩達老師的深度學習課程。

1）Cost function

回顧一下我們之前介紹的神經網絡，二分類和多分類應用：

參數：

我們參照邏輯回歸函數來給出神經網絡的代價函數：

• 對于每一行特征，我們都會預測 K 個結果，然后從 K 個結果中選取概率最大的那個。
• 最里層 j 循環所有行（由 sl+1 層的神經單元數決定），i 循環所有的列（由 sl 層）的激活單元數決定。

2）Backpropagation algorithm

我們來看看我們的梯度計算公式：

在進行反向傳播計算之前，我們來看看我們介紹過的前向傳播：

反向傳播計算：這一部分建議看看吳恩達老師的深度學習課程，里面詳細介紹了反向傳播算法。

最后我們得出了反向傳播算法，主要還是偏導數的計算：

3）Backpropagation intuition

4) Gradient checking

我們使用數值梯度校驗：

5）Random initialization

這里注意的是所有的參數不能全為0：

6）Putting it together

下面介紹的使用神經網絡的步驟：

總結

以上是生活随笔為你收集整理的机器学习笔记（八）：神经网络：学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。