深度學習（23）隨機梯度下降一: 隨機梯度下降簡介

• 1. What’s Gradient?
• 2. What does it mean?
• 3. How to search?
• 4. For instance
• 5. Learning Process
• 6. AutoGrad
• 7. GradientTape
• 8. Persistent GradientTape（多次調用）
• 9. $2^{nd}$-order
• 10. 二階求導實戰

Outline

• What’s Gradient
• What does it mean
• How to Search
• AutoGrad

1. What’s Gradient?

• 導數，derivative
• 偏微分，partial derivative
• 梯度，gradient
  $$?f=(\frac{?f}{?x_1};\frac{?f}{?x_2};\dots ;\frac{?f}{?x_n})$$

2. What does it mean?

可以看到，梯度就是函數對x求偏導和對y求偏導的向量和; 在函數上升的時候，梯度方向是向外擴散的; 在函數上升的快的時候，梯度的向量的模也大（就是圖中箭頭長）; 在函數梯度趨于緩慢或為0時，梯度的向量的模小（就是圖中箭頭短）;

如上圖所示，藍色區域代表函數值較小的區域，因為箭頭是向外擴散的，而梯度的方向就是函數值增大的方向; 紅色區域代表函數值較大的區域，因為箭頭是向內收縮的，而梯度的反方向就是函數值減小的方向;

3. How to search?

• $?f\to largervalue$
  

  • Search for minima:
    • $lr/\alpha /\eta$
      $${\theta }_{t+1}={\theta }_t?{\alpha }_t?f({\theta }_t)$$

4. For instance

$${\theta }_{t+1}={\theta }_t?{\alpha }_t?f({\theta }_t)$$
(1) Function:
$$J({\theta }_1,{\theta }_2)={\theta }_1^2+{\theta }_2^2$$
(2) Objective:
$$\underset{{\theta }_1,{\theta }_2}{\min }?J({\theta }_1,{\theta }_2)$$
(3) Update rules:
$${\theta }_1:={\theta }_1?\alpha \frac{d}{{\theta }_1}J({\theta }_1,{\theta }_2)$$
$${\theta }_2:={\theta }_2?\alpha \frac{d}{{\theta }_2}J({\theta }_1,{\theta }_2)$$
(4) Derivatives:
$$\frac{d}{d{\theta }_1}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_1}{\theta }_1^2+\frac{d}{d{\theta }_1}{\theta }_2^2=2{\theta }_1$$
$$\frac{d}{d{\theta }_2}J({\theta }_1,{\theta }_2)=\frac{d}{d{\theta }_2}{\theta }_1^2+\frac{d}{d{\theta }_2}{\theta }_2^2=2{\theta }_1$$

5. Learning Process

(1) Learning Process-1

(2) Learning Process-2

$\leftarrow$

6. AutoGrad

• With tf.GradientTape() as tape:
  • Build computation graph
  • $loss=f_{\theta }(x)$
• [w_grad] = tape.gradient(loss, [w])

7. GradientTape

(1) with tf.GradientTape() as tape: 將要更新的參數梯度全部放入這個函數里;
(2) grad1 = tape.gradient(y, [w]): 其中y就是損失$loss$，[w]為要更新的參數;
可以看到，計算結果為[None]，這是因為我們放入方法內的函數是$y_2=x?w$，與y無關，所以返回值為[None];
(3) grad2 = tape.gradient(y2, [w]): 更新w的梯度，即:
$$\frac{?y_2}{?w}=x=2$$

8. Persistent GradientTape（多次調用）

• with tf.GradientTape(persistent=True) as tape: 設置參數persistent=True，這樣就可以進行多次更新操作了;

9. $2^{nd}$-order

• $y=xw+b$

• $\frac{?y}{?x}=x$

• $\frac{{?}^{2}y}{?x^2}=\frac{?y^{\prime }}{?w}=\frac{?x}{?w}=None$
  

  • 要包2層tf.GradientTape()，因為要求二階導數。

10. 二階求導實戰

import tensorflow as tfw = tf.Variable(1.0) b = tf.Variable(2.0) x = tf.Variable(3.0)with tf.GradientTape() as t1:with tf.GradientTape() as t2:y = x * w + bdy_dw, dy_db = t2.gradient(y, [w, b]) d2y_dw2 = t1.gradient(dy_dw, w)print(dy_dw) print(dy_db) print(d2y_dw2)assert dy_dw.numpy() == 3.0 assert d2y_dw2 is None

運行結果如下:

參考文獻:
[1] 龍良曲:《深度學習與TensorFlow2入門實戰》
[2] http://mccormickml/2014/03/04/gradient-descent-derivation/
[3] http://ruder.io/optimizing-gradient-descent/

總結

以上是生活随笔為你收集整理的深度学习（23）随机梯度下降一: 随机梯度下降简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。