梯度校驗（Gradient Descent）

通常，直接使用BP算法可能會出現許多 bug，因此，需要使用稱為**梯度校驗（Gradient Checking）**的手段。我們知道， $J(\Theta )$ 在 $\Theta$ 處的倒數 $\frac{d}{d\Theta }J(\Theta )$ 為該點的斜率，如下圖藍色線段所示：

我們可以在點 $\Theta$ 附近的小區間 $[\Theta ??,\Theta +?]（?足夠小）$，構造下圖所示的紅色直角三角形：

則斜邊的斜率可以近似等于藍色線段的斜率，亦即，可以通過求取紅色斜邊的斜率來近似 $\frac{d}{d\Theta }J(\Theta )$ ：

$$\frac{d}{d\Theta }J(\Theta )\approx \frac{J(\Theta +?)?J(\Theta ??)}{2?}$$

通常， $?$ 取較小值，如 0.01 。

包含有梯度校驗的 BP 算法如下：

首先由反向傳播算法獲得展開的 DVec :
$$DVec=[D^{(1)},D^{(2)},D^{(3)},...D^{(n)}]$$

計算梯度近似 $gradApprox$ ， ${\theta }_j$ 是 ${\Theta }^j$ 的展開：
$$\frac{?}{?{\theta }_j}J(\theta )\approx \frac{J({\theta }_1,\dots ,{\theta }_j+?,\dots ,{\theta }_n)?J({\theta }_1,\dots ,{\theta }_j??,\dots ,{\theta }_n)}{2?},forj=1tongradApprox=[\frac{?}{?{\theta }_1}J(\theta ),\frac{?}{?{\theta }_2}J(\theta ),...,\frac{?}{?{\theta }_n}J(\theta )]$$

比較 $gradApprox$ 與 $DVec$ 的相似程度（比如可以用歐氏距離）：
$$gradApprox\approx DVec$$

如果上式成立，則證明網絡中BP算法有效，此時關閉梯度校驗算法（因為梯度的近似計算效率很慢），繼續網絡的訓練過程。

總結

以上是生活随笔為你收集整理的3.5 梯度校验-机器学习笔记-斯坦福吴恩达教授的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。