在前面我們討論了基于價值的強化學(xué)習(xí)(Value Based RL)和基于策略的強化學(xué)習(xí)模型(Policy Based RL)，本篇我們討論最后一種強化學(xué)習(xí)流派，基于模型的強化學(xué)習(xí)(Model Based RL)，以及基于模型的強化學(xué)習(xí)算法框架Dyna。

　　　　本篇主要參考了UCL強化學(xué)習(xí)課程的第8講和Dyna-2的論文。

 1. 基于模型的強化學(xué)習(xí)簡介

　　　　基于價值的強化學(xué)習(xí)模型和基于策略的強化學(xué)習(xí)模型都不是基于模型的，它們從價值函數(shù)，策略函數(shù)中直接去學(xué)習(xí)，不用學(xué)習(xí)環(huán)境的狀態(tài)轉(zhuǎn)化概率模型，即在狀態(tài)ss下采取動作aa,轉(zhuǎn)到下一個狀態(tài)s′s′的概率Pass′Pss′a。

　　　　而基于模型的強化學(xué)習(xí)則會嘗試從環(huán)境的模型去學(xué)習(xí)，一般是下面兩個相互獨立的模型：一個是狀態(tài)轉(zhuǎn)化預(yù)測模型，輸入當(dāng)前狀態(tài)ss和動作aa，預(yù)測下一個狀態(tài)s′s′。另一個是獎勵預(yù)測模型，輸入當(dāng)前狀態(tài)ss和動作aa，預(yù)測環(huán)境的獎勵rr。即模型可以描述為下面兩個式子：

St+1～P(St+1|St,At)St+1～P(St+1|St,At)

Rt+1～R(Rt+1|St,At)Rt+1～R(Rt+1|St,At)

　　　　如果模型P,RP,R可以準(zhǔn)確的描述真正的環(huán)境的轉(zhuǎn)化模型，那么我們就可以基于模型來預(yù)測，當(dāng)有一個新的狀態(tài)SS和動作AA到來時，我們可以直接基于模型預(yù)測得到新的狀態(tài)和動作獎勵，不需要和環(huán)境交互。當(dāng)然如果我們的模型不好，那么基于模型預(yù)測的新狀態(tài)和動作獎勵可能錯的離譜。

　　　　從上面的描述我們可以看出基于模型的強化學(xué)習(xí)和不基于模型的強化學(xué)習(xí)的主要區(qū)別?

總結(jié)

以上是生活随笔為你收集整理的强化学习(十七) 基于模型的强化学习与Dyna算法框架的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。