強化學(xué)習(xí)—— TD算法（Sarsa算法+Q-learning算法）

• 1. Sarsa算法
• • 1.1 TD Target
  • 1.2 表格形式的Sarsa算法
  • 1.3 神經(jīng)網(wǎng)絡(luò)形式的Sarsa算法
• 2. Q-learning算法
• • 2.1 TD Target
  • 2.2 表格形式的Q-learning算法
  • 2.3 神經(jīng)網(wǎng)絡(luò)形式的Q-learning算法（DQN）
• 3. Saras和Q-learning的區(qū)別
• 4. Multi-step TD Target
• • 4.1 Sarsa的Multi-step TD Target
  • 4.2 Q-learning的Multi-step TD Target

1. Sarsa算法

1.1 TD Target

• 回報函數(shù)的定義為:
  $$\begin{gathered} U_t=R_t+\gamma R_{t+1}+{\gamma }^2{R}_{t+2}+??? \\ {U}_t=R_t+\gamma (R_{t+1}+\gamma R_{t+2}+???) \\ {U}_t=R_t+\gamma U_{t+1} \end{gathered}$$
• 假設(shè)t時刻的回報依賴于t時刻的狀態(tài)、動作以及t+1時刻的狀態(tài)：$$R_t\leftarrow (S_t,A_t,S_{t+1})$$
• 則動作價值函數(shù)可以定義為：$$\begin{gathered} Q_{\pi }(s_t,a_t)=E[U_t|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t+\gamma U_{t+1}|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t|a_t,s_t]+\gamma E[U_{t+1}|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t|a_t,s_t]+\gamma E[Q_{\pi }(S_{t+1},A_{t+1})|a_t,s_t] \\ {Q}_{\pi }(s_t,a_t)=E[R_t+\gamma Q_{\pi }(S_{t+1},A_{t+1})] \end{gathered}$$
• 依據(jù)蒙特卡洛近似：$$y_t=r_t+\gamma Q_{\pi }(s_{t+1},a_{t+1})$$
• TD學(xué)習(xí)的目標：$$y_t\approx Q_{\pi }(s_t,a_t)$$

1.2 表格形式的Sarsa算法

• 學(xué)習(xí)動作價值函數(shù)$$Q_{\pi }(s,a)$$
• 假設(shè)動作和狀態(tài)的數(shù)量有限。
• 則需要學(xué)習(xí)下列表格信息：

S\A$$a_1$$$$a_2$$$$a_3$$$$a_4$$…

$$s_1$$	$$Q_{11}$$				…
$$s_2$$					…
$$s_3$$					…
$$s_4$$					…
…					…

計算步驟為：

觀測到一個transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

依據(jù)策略函函數(shù)對動作進行抽樣：$$a_{t+1}～\pi (?|s_{t+1})$$

查表得到TD Target：$$y_t=r_t+\gamma Q_{\pi }(s_{t+1},a_{t+1})$$

TD error為：$${\delta }_t=Q_{\pi }(s_t,a_t)?y_t$$

更新表格：$$Q_{\pi }(s_t,a_t)\leftarrow Q_{\pi }(s_t,a_t)?\alpha ?{\delta }_t$$

1.3 神經(jīng)網(wǎng)絡(luò)形式的Sarsa算法

• 用神經(jīng)網(wǎng)絡(luò)近似動作價值函數(shù)：$$q(s,q;W)～Q_{\pi }(s,a)$$
• 神經(jīng)網(wǎng)絡(luò)作為裁判去評判動作
• 參數(shù)W需要學(xué)習(xí)
• TD Target為：$$y_t=r_t+\gamma ?q(s_{t+1},a_{t+1};W)$$
• TD error為：$${\delta }_t=q(s_t,a_t;W)?y_t$$
• loss 為:$$\frac{1}{2}?{\delta }_t^2$$
• 梯度為:$${\delta }_t?\frac{?q(s_t,a_t;W)}{?W}$$
• 進行梯度下降：$$W\leftarrow W?\alpha ?{\delta }_t?\frac{?q(s_t,a_t;W)}{?W}$$

2. Q-learning算法

Q-learning用來學(xué)習(xí)最優(yōu)動作價值函數(shù)：$$Q_{\pi }^{?}(s,a)$$

2.1 TD Target

$$Q_{\pi }(s_t,a_t)=E[R_t+\gamma ?Q_{\pi }(S_{t+1},A_{t+1})]$$
將最優(yōu)策略函數(shù)計為：$${\pi }^{?}$$
則：$$Q^{?}(s_t,a_t)=Q_{{\pi }^{?}}(s_t,a_t)=E[R_t+\gamma ?Q_{{\pi }^{?}}(S_{t+1},A_{t+1})]$$
t+1時刻的動作按下式進行計算：$$A_{t+1}=\underset{a}{\mathrm{argmax}}{Q}^{?}(s_{t+1},a)$$
則最優(yōu)動作價值函數(shù)可作如下近似：$$\begin{gathered} Q^{?}(s_t,a_t)=E[R_t+\gamma ?\underset{a}{\max }{Q}^{?}(S_{t+1},a)] \\ \approx r_t+\underset{a}{\max }{Q}^{?}(s_{t+1},a) \end{gathered}$$

2.2 表格形式的Q-learning算法

S\A$$a_1$$$$a_2$$$$a_3$$$$a_4$$…

$$s_1(找出此行最大的Q)$$	$$Q_{11}$$				…
$$s_2$$					…
$$s_3$$					…
$$s_4$$					…
…					…

計算步驟為：

觀測到一個transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

TD Target為：$$y_t=r_t+\underset{a}{\max }{Q}^{?}(s_{t+1},a)$$

TD error為：$${\delta }_t=Q^{?}(s_t,a_t)?y_t$$

更新表格：$$Q^{?}(s_t,a_t)\leftarrow Q^{?}(s_t,a_t)?\alpha ?{\delta }_t$$

2.3 神經(jīng)網(wǎng)絡(luò)形式的Q-learning算法（DQN）

觀測到一個transition，即：$$(s_t,a_t,r_t,s_{t+1})$$

TD Target為：$$y_t=r_t+\underset{a}{\max }Q(s_{t+1},a；W)$$

TD error為：$${\delta }_t=Q(s_t,a_t；W)?y_t$$

參數(shù)更新：$$W\leftarrow W?\alpha ?{\delta }_t?\frac{?Q(s_t,a_t;W)}{?W}$$

3. Saras和Q-learning的區(qū)別

Sarsa學(xué)習(xí)動作價值函數(shù)： $$Q_{\pi }(s,a)$$

Actor-Critic中的價值網(wǎng)絡(luò)為用Sarsa訓(xùn)練的

Q-learning訓(xùn)練最優(yōu)動作價值函數(shù):$$Q^{?}(s,a)$$

4. Multi-step TD Target

• one-step僅使用一個reward：$$r_t$$
• multi-step 使用m個reward：$$r_t,r_{t+1},...,t_{t+m?1}$$

4.1 Sarsa的Multi-step TD Target

$$y_t=\sum _{i=0}^{m?1}{\lambda }^i{r}_{t+i}+{\lambda }^m{Q}_{\pi }(s_{t+m},a_{t+m})$$

4.2 Q-learning的Multi-step TD Target

$$y_t=\sum _{i=0}^{m?1}{\lambda }^i{r}_{t+i}+{\lambda }^m\underset{a}{\max }{Q}^{?}(s_{t+m},a)$$
本文為參考B站學(xué)習(xí)視頻書寫的筆記！
by CyrusMay 2022 04 08

我們在小孩和大人的轉(zhuǎn)角
蓋一座城堡
——————五月天（好好）——————

總結(jié)

以上是生活随笔為你收集整理的强化学习—— TD算法（Sarsa算法+Q-learning算法）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。