強化學習筆記： MDP - Policy iteration_UQI-LIUWJ的博客-CSDN博客

強化學習筆記：Q-learning_UQI-LIUWJ的博客-CSDN博客

????????在policy iteration中，我們根據給定的當前的 policy π?來估計價值函數；得到估計的價值函數后，通過 greedy 的方法來改進它的算法。

? ? ? ? 但是對于model-free 的MDP，我們并不知道它的獎勵函數和狀態轉移，所以就沒法估計它的Q函數。

1廣義policy iteration

針對上述情況，我們引入了廣義的 policy iteration 的方法。

我們對 policy evaluation 部分進行修改：用 MC 的方法代替 DP 的方法去估計 Q 函數。?

?算法通過 MC 的方法產生了很多的軌跡，每個軌跡都可以算出它的價值。然后，我們可以通過 average 的方法去估計 Q 函數。

當得到 Q 函數后，就可以通過 greedy 的方法去改進它。

1.1 MC with ε-Greedy Exploration

1.1.1?ε-greedy

?

????????為了確保 MC 方法能夠有足夠的探索，我們使用了 ε-greedy exploration。

????????ε-greedy?的意思是說，我們有1?ε?的概率會按照 Q-function最大來決定 action，通常ε?就設一個很小的值，?比如1?ε?可能是 90%，也就是 90% 的概率會按照 Q-function最大 來決定 action（exploitation），但是你有 10% 的機率是隨機的（exploration）。

????????通常在實現上ε?會隨著時間遞減。在最開始的時候。因為還不知道那個 action 是比較好的，所以你會花比較大的力氣在做 exploration。

????????接下來隨著訓練的次數越來越多。已經比較確定說哪一個 Q 是比較好的。你就會減少你的 exploration，你會把ε?的值變小，主要根據 Q-function最大來決定你的 action，比較少做 random，這是ε-greedy。

1.1.2?MC with ε-Greedy Exploration

?可以看出來，和強化學習筆記：Q-learning_UQI-LIUWJ的博客-CSDN博客?中的MC沒有太大的區別，唯一區別就是episode怎么采樣的問題

1.1.3? 策略提升定理

?

總結

以上是生活随笔為你收集整理的强化学习笔记： generalized policy iteration with MC的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。