在強(qiáng)化學(xué)習(xí)(十五) A3C中，我們討論了使用多線程的方法來(lái)解決Actor-Critic難收斂的問(wèn)題，今天我們不使用多線程，而是使用和DDQN類(lèi)似的方法：即經(jīng)驗(yàn)回放和雙網(wǎng)絡(luò)的方法來(lái)改進(jìn)Actor-Critic難收斂的問(wèn)題，這個(gè)算法就是是深度確定性策略梯度(Deep Deterministic Policy Gradient，以下簡(jiǎn)稱(chēng)DDPG)。

　　　　本篇主要參考了DDPG的論文和ICML 2016的deep RL tutorial。

1. 從隨機(jī)策略到確定性策略

　　　　從DDPG這個(gè)名字看，它是由D（Deep）+D（Deterministic ）+ PG(Policy Gradient)組成。PG(Policy Gradient)我們?cè)趶?qiáng)化學(xué)習(xí)(十三) 策略梯度(Policy Gradient)里已經(jīng)討論過(guò)。那什么是確定性策略梯度(Deterministic Policy Gradient，以下簡(jiǎn)稱(chēng)DPG)呢？

　　　　確定性策略是和隨機(jī)策略相對(duì)而言的，對(duì)于某一些動(dòng)作集合來(lái)說(shuō)，它可能是連續(xù)值，或者非常高維的離散值，這樣動(dòng)作的

總結(jié)

以上是生活随笔為你收集整理的强化学习(十六) 深度确定性策略梯度(DDPG)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。