文章目錄

• • 1. Mini-batch 梯度下降
  • 2. 理解 mini-batch 梯度下降
  • 3. 指數加權平均數
  • 4. 理解指數加權平均數
  • 5. 指數加權平均的偏差修正
  • 6. 動量Momentum梯度下降法
  • 7. RMSprop
  • 8. Adam 優化算法
  • 9. 學習率衰減
  • 10. 局部最優的問題
  • 作業

參考：
吳恩達視頻課
深度學習筆記

1. Mini-batch 梯度下降

在巨大的數據集上進行訓練，速度非常慢，如何提高效率？

前面我們學過向量化可以較快的處理整個訓練集的數據，如果樣本非常的大，在進行下一次梯度下降之前，你必須完成前一次的梯度下降。如果我們能先處理一部分數據，算法速度會更快。

• 把訓練集分割為小一點的子集（稱之 mini-batch）訓練

batch 梯度下降法：指的就是前面講的梯度下降法，可以同時處理整個 訓練集
mini-batch：每次處理的是單個的 mini-batch 訓練子集

2. 理解 mini-batch 梯度下降

mini-batch 梯度下降，每次迭代后 cost 不一定是下降的，因為每次迭代都在訓練不同的樣本子集，但總體趨勢應該是下降的

mini-batch 的 size 大小：

• 大小 = m，就是batch梯度下降法
• 大小 = 1，就是隨機梯度下降

3. 指數加權平均數

假設，$v_0=0,v_t=\beta ?v_{t?1}+(1?\beta )?{\theta }_t$
選取不同的 $\beta$ 值，得到相應的氣溫曲線

4. 理解指數加權平均數

假如 $\beta =0.9，t=100$，將上面的帶進去求 $v_{100}$

$$\begin{array}{l}{v}_{100}=0.1{\theta }_{100}+0.9{\left(0.1{\theta }_{99}+0.9\left(0.1{\theta }_{98}+0.9v_{97}\right)\right)}_0\\ \\ v_{100}=0.1{\theta }_{100}+0.1\times 0.9{\theta }_{99}+0.1\times (0.9{)}^2{\theta }_{98}+0.1\times (0.9{)}^3{\theta }_{97}+0.1\times (0.9{)}^4{\theta }_{96}+\dots \end{array}$$

好處：代碼簡單，占用內存極少

$v_{\theta }=0,v_t:=\beta ?v_{\theta }+(1?\beta )?{\theta }_t$
當然，它并不是最好、最精準的計算平均數的方法

5. 指數加權平均的偏差修正

6. 動量Momentum梯度下降法

思想：計算梯度的指數加權平均數，利用該梯度更新權重

上圖情況下，標準的梯度下降會上下波動，且要使用較小的學習率，否則會偏離更遠。

如果我們使用過去梯度的加權平均，縱向的就抵消了一些，橫向的疊加了一些，可以更平滑的快速找向最優點

$$\begin{gathered} v_{dW}=\beta v_{dW}+(1?\beta )dW \\ {v}_{db}=\beta v_{db}+(1?\beta )db \end{gathered}$$
$$\begin{gathered} W:=W?\alpha ?v_{dW} \\ b:=b?\alpha ?v_{db} \end{gathered}$$

• 超參數有 $\alpha$， $\beta =0.9$（ $\beta$ 經常取 0.9）
• 如果想偏差修正，$v_{dW},v_{db}$ 還要除以 $1?{\beta }^t$，實際上人們不這么做，10次迭代之后，偏差就基本很小了

動量梯度下降法，并不是對所有情況都有效，它對碗狀的優化效果較好

7. RMSprop

全稱是 root mean square prop 算法，它也可以加速梯度下降

微分平方的加權平均數：
$$\begin{gathered} S_{dW}=\beta S_{dW}+(1?\beta )(dW{)}^2 \\ {S}_{db}=\beta S_{db}+(1?\beta )(db{)}^2 \end{gathered}$$

$$\begin{gathered} W:=W?\alpha ?\frac{dW}{\sqrt{S_{dW}}+\mathcal{E}} \\ \text{?} \\ b:=b?\alpha ?\frac{db}{\sqrt{S_{db}}+\mathcal{E}} \end{gathered}$$
$\mathcal{E}=1e^{?8}$ 保證分母不為 0

RMSprop 跟 Momentum 有很相似的一點，可以消除梯度下降和mini-batch梯度下降中的擺動，并允許你使用一個更大的學習率，從而加快你的算法學習速度。

8. Adam 優化算法

Adam (Adaptive Moment Estimation) 優化算法基本上就是將 Momentum 和 RMSprop 結合在一起

• 初始化：$v_{dW}=0,S_{dW}=0,v_{db}=0,S_{db}=0$
• t 次迭代
  Momentum：
  $v_{dW}={\beta }_1{v}_{dW}+\left(1?{\beta }_1\right)dW$
  $v_{db}={\beta }_1{v}_{db}+\left(1?{\beta }_1\right)db$
  RMSprop：
  $S_{dW}={\beta }_2{S}_{dW}+\left(1?{\beta }_2\right)(dW{)}^2$
  $S_{db}={\beta }_2{S}_{db}+\left(1?{\beta }_2\right)(db{)}^2$
  偏差修正：
  $v_{dW}^{\text{corrected?}}=\frac{v_{dW}}{1?{\beta }_1^t}$
  $v_{db}^{\text{corrected?}}=\frac{v_{db}}{1?{\beta }_1^t}$
  $S_{dW}^{\text{corrected?}}=\frac{S_{dW}}{1?{\beta }_2^t}$
  $S_{db}^{\text{corrected?}}=\frac{S_{db}}{1?{\beta }_2^t}$
  更新權重：
  $W:=W?\alpha ?\frac{v_{dW}^{\text{corrected?}}}{\sqrt{S_{dW}^{\text{corrected?}}}+\epsilon }$
  \quad
  $b:=b?\alpha ?\frac{v_{\mathrm{d}\mathrm{b}}^{\text{correted?}}}{\sqrt{S_{\mathrm{d}\mathrm{b}}^{\text{corrected?}}}+\epsilon }$

Adam算法結合了 Momentum 和 RMSprop 梯度下降法，并且是一種極其常用的學習算法
其被證明能有效適用于不同神經網絡，適用于廣泛的結構

超參數：

• 學習率 $\alpha$
• ${\beta }_1=0.9$，常用
• ${\beta }_2=0.999$，作者推薦
• $\epsilon =1e^{?8}$

9. 學習率衰減

慢慢減少 學習率 的本質在于，在學習初期，使用較大的步伐，開始收斂的時候，用小一些的學習率能讓步伐小一些

• 對不同的 mini-batch 進行訓練，一次稱之為 epoch
  $$\alpha =\frac{1}{1+decayRate?epochNum}?{\alpha }_0$$

還有些其他的方法：
$$\begin{gathered} \alpha =0.95^{epochNum}{\alpha }_0 \\ \alpha =\frac{k}{\sqrt{epochNum}}{\alpha }_0 \\ \alpha =\frac{k}{\sqrt{t}}{\alpha }_0，t為\text{mini-batch}的數字 \end{gathered}$$
還有離散下降學習率，即 不是每步都下調學習率

10. 局部最優的問題

高維度空間中，我們不太可能遇見（概率很低）如上圖所示的局部最優點，因為需要這么多的維度方向上都梯度為 0（概率很低）

所以更有可能遇到的是鞍點

基本不會遇見局部最優問題，可能遇見的是平穩段減緩了學習速度，該區域梯度接近于 0 ，要很長時間才能走出去。Momentum 或 RMSprop，Adam 能夠加快速度，讓你盡早 走出平穩段。

作業

02.改善深層神經網絡：超參數調試、正則化以及優化 W2.優化算法（作業：優化方法）

---

我的CSDN博客地址 https://michael.blog.csdn.net/

長按或掃碼關注我的公眾號（Michael阿明），一起加油、一起學習進步！

總結

以上是生活随笔為你收集整理的02.改善深层神经网络：超参数调试、正则化以及优化 W2.优化算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。