policy-base SOTA

學習周博雷老師課程總結

Natural Policy Gradient

????為了改善PG算法的不穩定的缺點（如果更新到一個bad policy，就會采集到的一個壞的數據集，進而惡性循環。）
?
????這樣我們在兩個策略之間限制一個距離(KL-divergence)，保證優化不會跑的太偏，優化的方法就變為下面這樣一個等式，就是說我們在上一個策略周圍找一個使得目標函數值最大的方向進行前進，下面就是Natural Policy Gradient的實現方式：
$d^{?}=\arg \max J(\theta +d),$s.t.$KL\left({\pi }_{\theta }\Vert {\pi }_{\theta +d}\right)=c$

TRPO

????TRPO=Natural Policy Gradient + importance sampling
?
????根據sampling定理：
${\mathbb{E}}_{x～p}[f(x)]=\int p(x)f(x)dx=\int q(x)\frac{p(x)}{q(x)}f(x)dx={\mathbb{E}}_{x～q}\left[\frac{p(x)}{q(x)}f(x)\right]$
可以把目標函數寫成：
$J(\theta )={\mathbb{E}}_{a～{\pi }_{\theta }}[r(s,a)]={\mathbb{E}}_{a～\hat{\pi }}\left[\frac{{\pi }_{\theta }(s,a)}{\hat{\pi }(s,a)}r(s,a)\right]$
這樣我們就能用off-policy來進行價值函數的更新，即一個behavior policy，一個training policy，下面就是TRPO的優化公式：
$\begin{array}{rl}{J}_{{\theta }_{\text{old}}}(\theta )& ={\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}{R}_t\right]\\ \text{?subject?to?}& KL\left({\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right)\Vert {\pi }_{\theta }\left(.\mid s_t\right)\right)\le \delta \end{array}$

KFAC

提升TRPO的計算效率，

PPO

TRPO的簡化版本
TRPO：
$$\begin{array}{l}{\mathrm{maximize}}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}{A}_t\right]\\ \text{?subject?to?}{\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]\le \delta \end{array}$$
PPO的優化簡化：
$${\mathrm{maximize}}_{\theta }{\mathbb{E}}_t\left[\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{old}}\left(a_t\mid s_t\right)}{A}_t\right]?\beta {\mathbb{E}}_t\left[KL\left[{\pi }_{{\theta }_{\text{old}}}\left(.\mid s_t\right),{\pi }_{\theta }\left(.\mid s_t\right)\right]\right]$$
簡化后的PPO用一階優化過程SGD，而TRPO用了二階的信息，所以二階的較慢。

帶clipping的PPO

$r_t(\theta )=\frac{{\pi }_{\theta }\left(a_t\mid s_t\right)}{{\pi }_{{\theta }_{\text{old}}}\left(a_t\mid s_t\right)}$
就是將價值函數的取值進行一個限制，則帶有clipping的PPO的優化為：
$$L_t(\theta )=\min \left(r_t(\theta ){\hat{A}}_t,\mathrm{clip}\left(r_t(\theta ),1??,1+?\right){\hat{A}}_t\right)$$
這里用clipping代替了KL-divergence這一項。

總結

以上是生活随笔為你收集整理的强化学习6——policy gradient的变种State of the Art的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。