https://www.bilibili.com/video/av9770302/?p=24

https://www.bilibili.com/video/av24724071/?p=3

https://zhuanlan.zhihu.com/p/25239682

?

強化學習概覽

分為幾個要素，

首先我們可以觀察到state，observation

然后我們采取Action

環境會對我們采取的Action，給與Reward，由此可以知道action的效果的好壞

最終我們學習的目的是，policy，即state和action的匹配關系

?

那么強化學習和傳統的supervised learning有啥區別，為什么需要強化學習

傳統supervised learning的場景，是人可以知道明確答案的，比如圖片分類等，這樣才能訓練集去supervise機器

但是有些問題，人也無法決定如何做事正確答案，比如玩游戲，這是就需要強化學習，通過經驗去試錯

?

用video game來舉例看下，實際的強化學習的過程，

每次看到游戲畫面observation就是state
采取的actions，包含左移，右移，fire
殺死外星人就可以得到一定的reward

游戲從開始玩到gameove，稱為一個episode，我們的目標，就是在一個episode中得到盡可能多的reward

?

強化學習，可以這樣分類，

首先是Model-based和model-free，
model-based就是對環境有先驗知識，比如下圍棋，你讀過棋譜，知道規則，那么你可以對環境后續的變化做出預判
model-free就是比較盲目的，不了解環境，只能試錯

顯然model-based的效率要好，但是很多場景沒辦法model-based，因為你確實也沒有先驗知識

在Model-free里面，又分成Policy-based和Value-based

我們上面說強化學習的目標，就是學習policy，即即state和action的匹配關系

所以Policy-based的方法，是比較直接的方法，我把Actor/policy作為一個function，那么只要學習出這個function，問題就解決了

在Policy-based里面又可以分成on-policy和off-policy，一般看到的都是on-policy，就是和環境互動的agent就是學習agent本身
off-policy，和環境互動的agent和學習agent分開，不是同一個

?

而Value-based的方法，比較曲折，直接學習出policy function比較抽象，換個思路，學習一個critic，它會評價在某個state下的每個action

如果能學習出critic，那我們就可以通過他的評價，來選擇最好的action，這個問題也就解決了

Q-learning就是典型的Value-based的方法，它是根據之前所有的經驗來統計出當前state選擇某個action，會得到的最終的Reward；但這種方法，缺乏泛化能力，對于沒見過的case，無法處理，所以出現DQN用nn來擬合critic

?

Policy-based Actor

由于policy-based是比較新的技術，也是當前比較主流的技術，所以先介紹policy-based的方法，

Policy-based的方法，可以分成三步，

第一步先定義一個function，那么這里就用nn來作為一個actor

輸入是游戲畫面，輸出是每個actions的probability，一般在選擇action的時候要加入random，否則會缺乏exploration的能力，即每次相同選擇，沒有機會發現新大陸

?

第二步，怎么判斷function的好壞？

判斷一次episode的好壞，就是這個過程中獲得的reward和
那么一個actor，會產生很多各種各樣的episode，或trajectory，只要算出所有episode的R的期望，就可以用來衡量actor function的好壞

而期望實際上算不出來，所以用sample來近似，最終得到了右邊的結果

?

第三步，如何找到其中最好的actor function

答案就是用Gradient Asent，來得到最優的actor function

那么下面就是對R的期望求gradient的問題，

?最終R期望的梯度公式如下，

?

Tips

但這樣的問題在于，比如對于游戲它的R可能都是正的，這樣b, c會被sample到，那么他們的概率會被放大，而a其實reward比c大，但是由于沒有被sample到，所以概率反而會被減小

所以增加一個baseline，大于這個baseline的reward才認為是正向reward，小于就認為是負向的reward?

上面的算法還有一個明顯的問題，我們在考慮一個action是正向還是負向的時候，考慮的是整個episode的reward和

很直覺的想法就是，最終的結果是正向的，并不代表過程中的所有action都是正向的，比如下左圖，R=3基本都是由于a1這個action的reward，而a2，a3沒有啥貢獻，甚至產生負的reward

那么這個情況當sample足夠多的情況下，是可以克服的，但是普通情況下sample都是不足夠的

所以一個想法，當前的action只會對它后面的reward有作用，并且越靠近的reward受到的影響應該越大

所以這里會用action之后的reward和來替換整個episode的reward和，并且要乘上discount factor，讓action的影響遞減

替換部分稱為advantage function，這個在后面的A3C算法中會看到

?

PPO (Proximal Policy Optimization)?

前面的policy的方法都是on-policy的方法，下面介紹的PPO，當前是OpenAI的默認RL算法，是一種off-policy的方法

off-policy，就是和環境互動的agent和我訓練的agent是兩個不同的agent

為什么要用off-policy這么trick的方法？

因為on-policy，每次收集和環境互動得到的data，然后更新參數，更新完參數后，之前收集的data就沒法繼續用了，需要再和環境互動收集新的data

這樣非常耗費時間

如果我們有個一個agent，它的參數是fix的，專門去和環境交互并收集data，然后用這些data去訓練我們的當前的agent，這些收集的data就是可以被重用的

這個方法類比，你看別人打球，或下棋，然后從你觀察到數據來用于自己學習

具體怎么做，這個首先基于一個理論，importance sampling，

如果我們要算一個分布P中x，對于f(x)的期望，如果不能直接求解，我們用的方式就是sample，在P中sample n個x，然后算平均

那么如果我們這時沒法在P中做sample，我們有任意一個分布Q，我們在Q中做sample，仍然能算出f(x)在P上的期望

這個感覺很神奇，但是上面的推導確實給出公式?

用這個理論還是有些問題的，

問題在于這個理論保證期望不變，但是方差是變化的，所以如果兩個分布相差太遠，方差會有較的差異

比較形象的例子，右圖，如果P，Q的分布式相反的，這樣去sample會導致，如果在P中sample那么絕大部分情況會集中在左邊，而在Q中sample會集中在右邊

這樣會導致得到的期望完全不一樣，當然如果sample足夠多，這個問題是可以被克服的，因為小概率事件還是有可能會發生的，你在Q中也是有小概率會sample到左邊的點

現在回到off-policy，我們要做的就是，用在一個agent上sample的數據，來計算在另一個agent上的reward和的期望

上面說到過，這里會用advantage function來優化這個R

第二步做的就是importance sampling的轉換

第三步假設不同agent出現某個state的概率相同，所以把這項消掉，因為state和你選擇啥policy沒關系，也說的通

第四步得到off-policy的目標函數

這個算法就稱為PPO，但是上面說了兩個agent的分布如果差的很遠會影響算法效果

所以一般會加上一個正則項，即兩個分布的KL，這樣會讓兩個分布盡可能的接近

?

這個PPO算法的問題是實現比較麻煩，尤其后面的那個KL

所以出現PPO2，這里去掉了KL，但是用clip來限制兩個分布不相差太遠

如果A是正向的，那么我們要盡可能增加學習agent的state|action的概率，但是當逼近和環境交互的agent的概率，就會停止，因為min會限制住它

如果A是負向的，反之盡量降低這個概率，但是同樣只能逼近另一個概率

?

?Value-based Critic

Critic不決定采取什么action，而只是評價actor好壞

對于Critic，就是要訓練一個function V，輸入是某個actor和state，輸出是從state到episode結束的reward總和

那么如何訓練Critic？

兩種方法，

Monte-carlo方法，直覺的方法，V不就是要擬合整個episode的reward嗎，那就對于該actor和一個state，會得到實際的reward G，那么V只要去逼近G就可以完成訓練

Temporal-difference方法，這個就有些trick，兩個相鄰狀態V應該相差這步的reward，那么就用這個差值來擬合V，這個方法的好處就是不需要等episode結束，每一步都可以train

兩個方法的不同，

MC方法的varianc會比較大，因為每次從Sa出發，最終得到的結果G可能會有很大的差異，因為環境和model都有隨機性，而G是多步疊加的結果，所以Var會很大

TD方法，因為r只是一小步的reward，所以這個Var就會相對比較小，但是TD，根據一步訓練，所以會有偏差

Q-learning?

上面學習到V，只是知道當前state下最終會得到的reward是多少，但是并沒有辦法根據V去選擇action

所以我們需要一種新的Critic，Q，給出在當前state下，選取某個action得到的reward和

如果我們得到Q，那么就很容易選擇下一步的action，選reward最大的好

這樣就不需要訓練單獨的actor和policy，因為通過Q可以推導出policy，這就是Q-learning

由于Q-learning，每步需要找出最大的Q，所以如果action是連續的，就會比較麻煩，需要gradient descend；但是對于離散的action就會很簡單，窮舉就好

這里形式化的表達，只需要每一步state都選取最大的Q，我就可以得到一個更好的actor

這是非常直覺的一個事情，如果我通過Q可以知道選取哪個action可以得到更大的reward，那么當然應該選擇該action

這里給出形式化證明，

Q-learning算法

那現在的問題就是如何學習Q？訓練的時候有一些tips

Target Network

你可以用TD的方法，仍然是兩部之間差一個rt

實現的時候，這里有兩個Q，雖然參數上應該是一樣的，但是訓練的時候會fix住一個的參數，稱為TargetNetwork，讓另一個去逼近；然后再把參數同步過去，再去逼近，這樣實現更容易些

Exploration

增強學習的時候，要去嘗試新的選擇，因為保守的選取之前嘗試過的case，可能會錯過最優解

基本策略是加入隨機性，比如大概率選MaxQ，但有小概率會random；在訓練的前期，exploration比較關鍵，而到了后期，你已經嘗試過所有case的情況下，exploration就沒有那么關鍵了，所以這個概率可以隨著學習的過程decay

Replay Buffer

不光當前policy actor和環境交互的數據被記錄下來，之前的actor和環境交互的數據也會被記錄下來

訓練的時候從buffer中選取一個batch，這個里面有可能包含一些其他actor的交互數據，這樣訓練的魯棒性會比較強，而且大大節約actor的交互時間

?

加上這些tips，典型的Q-learning算法，

兩個Q，一個作為target network
在和環境互動的時候，加入epsilon greedy，增加exploration的能力
將互動得到的數據放入buffer，然后從buffer中隨機sample一批數據作為訓練數據去計算target network Q^
不斷的讓Q去逼近這個Q^，n部后，把Q的參數同步給Q^

?

?

Adanced Q-learning

Double DQN

DQN有個問題，就是Q的value會被over estimate

因為Q一定是有誤差的，或大或小，但是由于訓練過程中總是選Max Q，所以會總是選到被高估的action

Double DQN，就是用兩個Q函數而不是一個，這樣一個Q決定如何選擇action，另一個Q用于計算reward，這樣只要不是兩個Q都over estimate某一個action，就不會有太大的問題

?

Dueling DQN

這個方法其實就是改了下網絡結構，加了一層，但是這樣為何就比原來的好？

右圖，這個方法會通過加約束，讓算法傾向于修改Vs，而不是A，這樣通過sample到case的學習的結果，就可以影響到未sample到的case

?

Prioritized Reply

從buffer里面sample測試集的時候，不是隨機的sample，而是挑選那些在上一次training中TD error比較大的data

?

Multi-step

MC是整個完整的episode做完后，才能train
而TD是完成一步以后就可以train

自然的想法是balance一下，mini-batch，若干步后用TD training

?

Noisy Net

增加noise是為了增加模型的exploration能力
之前的方法是noise on action，即選擇action的時候，會小概率加入隨機action
當前的方法稱為noise on parameter，即在episode開始的時候，在Q的nn的參數上加入一定的noise

這樣做的好處見右圖，noise action不確定性太大

?

Distributional Q-function

原先Q，是一個期望，在s狀態，采取a后，得到的reward總和的期望，平均值

但平均值不能很好的反應出數據，左圖中兩個分布的平均值一樣，但是分布相差很遠

所以對于Q我們不光只輸出一個期望值，而是輸出一個期望的分布，比如右圖，對于每個action，輸出5個值，表示不同期望區間的概率分布

那么這些技術tips的效果到底如何？

Rainbow是結合所有的tips所達到的效果，可以看到還是非常不錯的

其他的線表示單獨加上一種tip時候，對性能的影響

右圖，是反映在rainbow中，去掉某一種tip時的效果，可以看到去掉multi-step或priority時，性能會下降很大

?

Continuous Action

Q-learing對于離散的action是比較好處理的，如果是連續的action應該如果去做
Sample是比較簡單的方法，但是不準確；gradient asent太費了
第三種方法，比較匪夷所思，設計一種網絡Q，讓他比較容易算出max，如下圖定義Q(s,a)，當a=u(s)，第一項為0，整個就取到max值

?

A3C

A3C，一共3個A，一個C

其中一個A和C，表示同時使用Actor和Critic，即policy-based和value-based

那么直接用policy-based，有啥不好？

可以看到policy-based做梯度上升的時候，是需要用到G，即整個episode的reward和

這樣要求一個episode結束后才能開始訓練，并且這個G的variance是非常大的，就是非常不穩定

?

?

那么既然現在我們有一個critic，而critic可以預測出G的期望，那么是否可以用來替換G？這樣就可以做到每一步都能訓練，并且提供穩定性

如下左圖，G的期望就等價于Q，而baseline，我們用V來替換，因為V表示在狀態St所得到的reward期望，而我們采取的action a時，所得到的reward要高于這個才是有價值的

但是這樣，我們要同時訓練Q和V兩個function，所以Advantage Actor-Critic，所做的是用V來近似表示Q，這樣我們只需要訓練V這一個function，

Advantage Function的定義也很直覺，后面括號中的部分是用Critic預測走這一步所會得到的reward，這個可以看做是一個baseline

如果我們實際這一步得到的reward大于baseline，那么我們就認為這步是正向的，否則是負向的

?

A3C設計的Tips，

首先actor和critic可以共享部分網絡，這個是顯然的，因為輸入都是s，比如游戲畫面，輸出雖然有不同，但是前面大部分的網絡可以共享

用output entropy作為Actor輸出的正則項，即Actor會有機會傾向于去嘗試不確定的action，這樣模型會比較好的泛化能力

?

最后一個A，異步，這個比較工程的想法，就是用多組actor-critic同時來訓練和更新參數，更快的收斂

?

?

Pathwise derivative policy gradient

本身Q-learning得到的Q，就可以決定選擇哪個action，前面說了這樣對于連續性的action就很麻煩

這個方法說，不，critic只能評價，不能直接決定action

還是要訓練一個actor決定采取什么樣的action

這時其實是把Q作為supervisor

訓練的方式就是把actor和Q連成一個大的nn，固定住訓練好的Q的參數，訓練actor的參數，使得最終的輸出最大化

然后再用更新過的actor和環境互動，進一步去訓練Q，周而復始

最終使用的時候，直接用actor就可以，不用管Q

這個方法的最大價值，是它可以類比GAN，

Actor是generator，Q是Discriminator，很有意思

這里有兩個tips，

第一個，replay buffer，即在訓練Q的時候，會把所有actor和環境的互動的過程都記錄下來，用于訓練Q，這樣更加robust

第二個，actor的輸出要加隨機noise，泛化和exploration的能力

?

這里給出一個實際的算法實現對比，左邊是經典的Q-learning，右邊通過4步的變化，成為Pathwise Derivative Policy Gradient

第一步，用actor π來覺得采取什么action，而不是用Q
第二步，用target actor π^的輸出作為Q^的輸入
第三步，Fix住Q，調整actor π的參數，使得Q最大化
第四步，更新π^,Q^

?

?

Imitation learning

有些場景下，不太好定義出reward

比如說自動駕駛或chatbot

如果不能明確定義出reward function，我們就無法用RL去訓練

這時的思路，就是imitation learning，意思是用expert的示范來告訴你應該怎么做，比如比較典型的是自動駕駛，通過看大量人類駕駛的錄影來學習

這里最直觀的就behavior cloning，即expert怎么做，你照搬就好，這就是典型的supervised學習

這個方法的缺點，就是會有盲區，如果沒有看到過這個場景的例子，機器會不知道該怎么辦，比如人開車很少會撞墻，所以機器當快撞墻時，就沒有經驗可以借鑒

第二個缺點，就是expert并不是所有的行為都是有用的，或有益的，而單純的clone這些行為是沒有意義的

所以比較科學的方法，加做Inverse Reinforcement Learning

普通的RL，是通過定義reward function，來訓練出actor

而如果我們不知道reward function，就需要先通過一堆demonstration來找到真正的reward function

?

如何找？

類似GAN的過程，

我們用Expert的一堆操作作為positive的例子，而隨機產生一個actor的操作作為negative的例子，這里actor是一個nn，可以看成generator

我們來訓練一個Reward function，也是一個nn，使得它能分辨出expert的操作優于actor的操作，可以看出Discriminator

然后我們用新的reward function來訓練一個新的actor，再用新actor產生的操作作為negative例子，進一步的去更新reward function。。。。。。

?

轉載于:https://www.cnblogs.com/fxjwind/p/9512202.html

總結

以上是生活随笔為你收集整理的Reinforcement Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。