一、Model-based RL

Model-Free RL，從經驗中學習價值函數（以及/或者策略）。

Model-based RL，從經驗中直接學習環境的MDP模型。（狀態轉移概率P以及獎勵矩陣R）從模型出發，規劃價值函數（和/或策略）。能夠更加有效的學習，減少模型的不確定性，但是缺點是會帶來兩個（學習模型，進行規劃）過程的誤差。

這里有一個重要的假設，就是R和P是互相獨立的，也就是某一時刻的狀態和行為(s,a)(s,a)獲得的下一時刻收益r～Rr～R和下一時刻狀態s～Ps～P無關。

• 那么第一步，經驗中學習模型就是兩個監督學習問題：

回歸問題：?s,a→rs,a→r

分類問題：?s,a→s′s,a→s′

至于用什么來表示模型的P和R，高斯過程模型、線性高斯模型、神經網絡模型都是可以的。

• 第二步，就是利用學習到的模型進行規劃。

我們有價值迭代，策略迭代，樹搜索等方法。此外，還可以直接對已知模型進行抽樣，對抽樣出的experience利用前幾節的model-free方法如Q-learning、Sarsa、Monte-Carlo-Control等進行規劃。

二、Integrated Arch

Dyna：從真實experience和simulated experience中學習和規劃價值函數（策略）。其中后者是我們學習到的MDP（不精確的模型）產生的sample。

從算法過程上來看，就是在每一步，用真實環境的Sample數據學習一次Q，并學習一次Model，然后用Model產生的sample學習n次Q。

三、Simulation-based Search

關注當前狀態，利用Forward Search算法，建立一個以當前狀態stst為root的搜索樹。

基于模擬的搜索：從當前狀態開始，利用我們的模型計算出k個episode；然后利用model-free的方法進行學習和規劃。

模擬過程中采用的策略：如果當前需要的狀態和動作已經包含在構造的樹中，那么最大化Q；否則隨機選擇Action（exploration）。

Dyna-2，利用real experience學習long-term memory，利用simulated experience 學習 short-term memory。

原文地址：http://cairohy.github.io/2017/09/11/deeplearning/%E3%80%8ADavid%20Silver%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0%E5%85%AC%E5%BC%80%E8%AF%BE%E3%80%8B-8%EF%BC%9AIntegrating%20Learning%20and%20Planning/ 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【David Silver强化学习公开课】-8：Integrating Learning and Planning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。