Beyond Deep Q Learning

DQN將一個(gè)強(qiáng)大的工具deep neural network 引入RL，解決了這中間遇到的很多新問題，收到了很好的效果。自從這篇工作以后，一方面，大家希望更強(qiáng)的工具能解決更難的問題，比如上面DQN還玩的不是很好的游戲，或者游戲之外的問題；另一方面，大家也希望已經(jīng)能夠解決的問題能做得更好，更快。近兩年，學(xué)術(shù)界和工業(yè)界做了很多工作，不斷將RL的效果和性能推到新的高度。不論是學(xué)術(shù)界還是企業(yè)界，都認(rèn)為RL的潛力是很大的。但是在什么時(shí)候，能夠以一個(gè)合理的代價(jià)解決一個(gè)現(xiàn)實(shí)的應(yīng)用場景，這個(gè)問題目前還處在探索之中。

在這個(gè)探索的過程中，最重要的一步，是如何發(fā)現(xiàn)現(xiàn)有算法方案的缺陷和短板；其次是以什么樣的思路去解決它；然后是算法的實(shí)現(xiàn)與工程細(xì)節(jié)。這一節(jié)中，重點(diǎn)是前兩個(gè)方面，特別是第一個(gè)：DQN之后，大家都是從什么樣的視角，去不斷改進(jìn)RL算法的效果的？

連續(xù)動(dòng)作問題

下面是DQN的一個(gè)示意圖。

可以看出，這種形式的網(wǎng)絡(luò)結(jié)構(gòu)以及l(fā)oss function的定義，只能處理離散action，即策略需要從N個(gè)action中挑選一個(gè)的情況。在實(shí)際的應(yīng)用場景中，很多時(shí)候，action是多維連續(xù)的值，比如機(jī)器人控制中各個(gè)電機(jī)的控制量。在連續(xù)action維度非常低的時(shí)候，我們可以把連續(xù)的值離散化成為幾個(gè)區(qū)間，然后按照離散action處理；但在action維度較高的情形，這種方法就不適用了。這個(gè)時(shí)候，顯式的值函數(shù)就只能將state，action作為輸入，而無法同時(shí)輸出所有action對應(yīng)的Q值。

所以，我們需要顯式的策略函數(shù)：α=π(s) or π(α|s)

接下來要介紹的兩個(gè)方法中，既使用了顯式的值函數(shù)，又使用了顯式的策略函數(shù)，它們可以被歸類為actor critic 方法：

隨著訓(xùn)練的進(jìn)行，value function 和 policy 都會(huì)得到更新：value function 一般會(huì)根據(jù)temporal difference迭代更準(zhǔn)確的Q值（或者V值，稱為狀態(tài)價(jià)值state value；相對的，Q為動(dòng)作價(jià)值action value）；policy function會(huì)根據(jù)value function 以及從環(huán)境中收集到的trajectory，迭代更新更好的策略。

Deterministic Policy

第一種思路，策略函數(shù)形式為：α=π(s)?

也就是確定性的策略。這個(gè)方法稱為Deterministic Policy Gradient（DPG）其策略函數(shù)輸出一個(gè)確定的action，這個(gè)action可以是高維連續(xù)的。其網(wǎng)絡(luò)結(jié)構(gòu)示意為：

Q網(wǎng)絡(luò)，即值函數(shù)部分，訓(xùn)練的更新依然通過通過TD loss 來更新；π網(wǎng)絡(luò)，即策略函數(shù)部分，其更新的梯度方向?yàn)槭沟幂敵龅腶ction對應(yīng)的Q值變大，也就是說，loss function為 -Q。具體證明過程在此不展開了。

Stochastic Policy

第二種思路，策略函數(shù)形式為：π(α|s)

也就是隨機(jī)性策略。對于隨機(jī)性策略，Policy function應(yīng)該輸出action的概率分布。對于連續(xù)的action來說，Policy function可以輸出action的概率密度函數(shù)。所以，假設(shè)action的分布符合多維正態(tài)分布：

那么，策略網(wǎng)絡(luò)可以輸出正態(tài)分布的均值和方差來代表這個(gè)分布。于是，關(guān)于策略梯度的更新方法就都可以應(yīng)用在這個(gè)策略函數(shù)上：只要能構(gòu)造一個(gè)loss function，使得“更好”的action對應(yīng)的概率密度變高，“更差”的action對應(yīng)的概率密度變低就可以了。

Action的概率分布符合正態(tài)分布這個(gè)假設(shè)，可以說是一個(gè)很強(qiáng)的假設(shè)。但是在實(shí)際使用當(dāng)中，這個(gè)假設(shè)下，在不少問題中是可以得到還不錯(cuò)的策略的。這個(gè)方法在Asynchronous Advantage Actor Critic（A3C）這個(gè)工作中有提及，關(guān)于A3C，后面還會(huì)有介紹。

更好的模型結(jié)構(gòu)

既然使用了model來近似表示希望獲得的策略/價(jià)值函數(shù)，那么我們總是可以問的一個(gè)問題是：有沒有更好的模型來解決我的問題？

在這之前，得首先回答一個(gè)問題：什么叫更好的模型？

關(guān)于模型（model），有三個(gè)互相關(guān)聯(lián)的特性：

· Non-Linearity，非線性。通常我們希望擬合的真實(shí)函數(shù)，其輸入到輸出的對應(yīng)關(guān)系是非常復(fù)雜的，或者說，具有非常大的非線性。所以模型的非線性是否足夠，決定了最終擬合的結(jié)果誤差可以有多小。

· Capacity，容量。即模型的自由度。自由度越高的模型，能擬合的函數(shù)的集合就越大，但同時(shí)因?yàn)樗阉骺臻g的變大，訓(xùn)練的代價(jià)就越大；自由度越低的模型，能擬合的函數(shù)的集合就越小，相應(yīng)的，訓(xùn)練的代價(jià)也會(huì)變小。

· Computation Cost，計(jì)算代價(jià)。計(jì)算越復(fù)雜的模型，其使用以及訓(xùn)練所消耗的計(jì)算資源也越多。

通常情況下，以上三個(gè)特性是成正比的。例如，如果對某個(gè)神經(jīng)網(wǎng)絡(luò)增加其層數(shù)，那么其非線性會(huì)增加，可以表示更復(fù)雜形狀的函數(shù)；其次參數(shù)量會(huì)增加；最后，其計(jì)算代價(jià)也會(huì)上升。

但是，如果有可能，我們總是希望模型能夠更準(zhǔn)確的表示真實(shí)函數(shù)的同時(shí)，盡量不要增大搜索的空間，以及計(jì)算復(fù)雜度。翻譯一下，就是在增加non-linearity的同時(shí)，可以相對減小capacity和computation cost。?

如果能面向要處理的問題的特點(diǎn)，有針對性的設(shè)計(jì)模型結(jié)構(gòu)，是有可能做到這一點(diǎn)的。這就是所謂“更好的模型”。

那么，在RL中，要解決的問題有什么特點(diǎn)呢？以下，舉幾個(gè)這方面的例子。

LSTM的應(yīng)用

我們知道，RNN或者說LSTM，是具有一定的記憶能力的，適合于處理序列的輸入情況。例如語音識別、機(jī)器翻譯等領(lǐng)域，LSTM被用來處理語音、句子等序列輸入；或者在計(jì)算機(jī)視覺（CV）中，用來實(shí)現(xiàn)attention 機(jī)制，即網(wǎng)絡(luò)需要的輸出只和輸入圖像的一部分關(guān)系密切的情形。

而以上兩點(diǎn)，在RL中，都存在相似的情形：

• 例如，在游戲任務(wù)中，通常對策略決策比較重要的信息都來自于屏幕上很集中的部分區(qū)域。

• 例如，RL agent和環(huán)境交互的過程本身就是個(gè)序列過程，而很多時(shí)候，agent只能接收到環(huán)境的部分信息；agent的當(dāng)前決策需要依賴于若干步之前收到的信息。這種情況被稱為Partially Observable problem，形式化的描述是可以用LSTM將partially observable markov decision process 轉(zhuǎn)化為fully observable markov decision process，在此不做展開。

其中，上面第二點(diǎn)可以說是很多RL問題的共性，因此應(yīng)用也更加廣泛。

Dueling Network

LSTM可以說是其他領(lǐng)域成功應(yīng)用的模型結(jié)構(gòu)，應(yīng)用在RL中應(yīng)對類似問題的例子。那么，在RL中特別是value based method中，神經(jīng)網(wǎng)絡(luò)是用來擬合值函數(shù)Q的。值函數(shù)Q有沒有什么特有的結(jié)構(gòu)可以被用來設(shè)計(jì)模型呢？

設(shè)想一下：在學(xué)習(xí)騎自行車這個(gè)任務(wù)中，假設(shè)agent所處的狀態(tài)是輪胎與地面成30°角?？梢韵胂?#xff0c;無論這個(gè)時(shí)候agent采取什么action，多半都會(huì)收到一個(gè)很糟糕的reward：摔倒在地面上。這里，一個(gè)直覺的推斷是：在很多問題下，Q值的一大部分由輸入的state決定；在此基礎(chǔ)上，不同的action會(huì)造成小部分的差別；另外一方面，對于策略來說，Q之中僅由state決定的這部分沒有什么作用，更重要的是不同action之間的差別。

這就是Dueling Network的思路：把Q網(wǎng)絡(luò)的結(jié)構(gòu)顯式地約束成兩部分之和。

這樣，V的部分只依賴于state，訓(xùn)練起來更容易；不同action之間的差別只體現(xiàn)在A部分，這部分通常被叫做action advantage。這部分的收斂也可以與V獨(dú)立開來，使得action之間的相對差別可以獨(dú)立學(xué)習(xí)。

關(guān)于Q值函數(shù)形狀的約束假設(shè)，還有更激進(jìn)的工作如NAF（Normalized Advantage Functions），在此不做展開了。

Value Iteration Network

Dueling Network可以說是利用Q值函數(shù)的形狀特性。那么Q值迭代的計(jì)算過程，是否有特性可以利用呢？

Value Iteration Network這個(gè)工作的思路正是如此，其利用了Q值迭代過程和convolution/max pooling 過程形式上的一致性：二維平面狀態(tài)空間下，假設(shè)每個(gè)狀態(tài)只能轉(zhuǎn)移到和其相鄰的狀態(tài)中，那么根據(jù)bellman equation對平面內(nèi)所有狀態(tài)做一次值迭代的過程，就可以表示成在這個(gè)二維圖上的一次卷積操作。這樣，通過若干輪卷積，網(wǎng)絡(luò)可以提取出若干步后的所有狀態(tài)的Q值，這種look ahead 的行為正是規(guī)劃（planning）所需要的。所以，VIN可以用來實(shí)現(xiàn)帶規(guī)劃功能的策略函數(shù)。算法的其余細(xì)節(jié)不再展開。

更快的收斂速度

我們先比較一下增強(qiáng)學(xué)習(xí)（DQN）和監(jiān)督學(xué)習(xí)的loss function：

可以看出，兩者的loss function 形式上有一定的相似性，都是讓模型的輸出趨近于一個(gè)目標(biāo)值（圖片中紅色的部分）。

對比可以看出，DQN的訓(xùn)練過程有如下幾個(gè)特點(diǎn)。

第一，基礎(chǔ)事實(shí)（ground truth）非常稀疏。原因來自于兩方面：

• 首先，對于不同的任務(wù)來說，環(huán)境給出的r的密度不一樣，有些任務(wù)的r可能會(huì)很稀疏，甚至于只有在任務(wù)最后成功/失敗的時(shí)候才會(huì)有非零的r，其余時(shí)候r都是0。

• 其次，監(jiān)督學(xué)習(xí)的loss function中，目標(biāo)值完全來自于外界輸入的正確信息，也就是ground truth。而DQN的loss function中，目標(biāo)值只有r的部分來自ground truth，另外一部分來自于前一版本的網(wǎng)絡(luò)的輸出Q值，這只是一個(gè)真實(shí)值的近似。

第二，對目標(biāo)Q值的估計(jì)存在偏差。這個(gè)偏差正是來自于上面所說的前一版本網(wǎng)絡(luò)輸出的Q值上：網(wǎng)絡(luò)訓(xùn)練的過程中，其輸出和真實(shí)值可能差距較大；其次，在不準(zhǔn)確的Q值基礎(chǔ)上應(yīng)用操作，會(huì)導(dǎo)致估計(jì)的Q值系統(tǒng)性地偏大。

第三，DQN這個(gè)loss也被稱為1 step TD loss，也就是說，在s'處估計(jì)的目標(biāo)值沿著trajectory倒推一步s'處，用來更新s處的Q值。這樣，transition中<s,a,r,s'>所蘊(yùn)含的ground truth需要很多輪迭代才能傳播到離和更遠(yuǎn)的地方去，得到比較精確的Q值。以下幾個(gè)工作，就是針對上面說到的DQN的收斂性問題所做的改進(jìn)。

Prioritized Experience Replay

在某些任務(wù)中，既然對訓(xùn)練有價(jià)值的reward比較的稀疏，那是否可以著重利用這些采集到的reward呢？Prioritized Experience Replay就是基于這個(gè)思路，從replay中采樣的時(shí)候，提高訓(xùn)練的時(shí)候loss高的transition被采樣到的概率，從而更有效率的學(xué)習(xí)。

Double DQN

這個(gè)工作對目標(biāo)Q值的計(jì)算做了如下的修正：

使得對目標(biāo)Q值的估計(jì)偏高的問題得到了改善：

Optimality Tightening

前面提到DQN的一個(gè)問題是1 step td loss在state空間中傳播ground truth太慢的問題。事實(shí)上，DQN屬于值方法，而很多策略方法是可以利用N step TD的。為什么DQN不能用呢？因?yàn)镹 step TD是從序列：[r[t], r[t+1], ..., r[t+i]] 計(jì)算而來，而從replay buffer中提取出來的trajectory序列可能是根據(jù)比較早版本的Q網(wǎng)絡(luò)生成的，這就無法真實(shí)的反映出最新的target Q網(wǎng)絡(luò)的表現(xiàn)情況。而單步td只關(guān)心r，而不用關(guān)心r的序列，所以不用擔(dān)心生成這個(gè)序列的策略和當(dāng)前策略不一樣的問題。更詳細(xì)的分析可以去了解一下on-policy和off-policy的相關(guān)概念。

Optimality Tightening 這個(gè)工作的思路是，雖然不能直接用N step TD來計(jì)算當(dāng)前的目標(biāo)Q值，但是用來給當(dāng)前Q目標(biāo)值加一個(gè)上下界的約束：

這樣，相當(dāng)于在DQN里面，應(yīng)用上了N step TD的信息，讓ground truth 沿著trajectory的軌跡傳播得更快。?

更好的探索策略

探索是RL的重要話題。想象人類學(xué)習(xí)玩游戲的過程，在游戲的開始，玩家會(huì)嘗試一些操作；并逐漸掌握一些基本的策略，完成簡單的挑戰(zhàn)；然后根據(jù)這些策略，達(dá)到離初始狀態(tài)較遠(yuǎn)的狀態(tài)，然后不斷探索嘗試面臨的新的挑戰(zhàn)。在RL中也是如此，一方面，策略需要保持一定的探索以發(fā)現(xiàn)新的策略；另一方面，策略需要利用之前學(xué)到的知識，才能保證探索的時(shí)候更有效率。

在DQN中，????????方法是一種比較基礎(chǔ)的探索策略，是在greedy策略（選取Q值最大的action）基礎(chǔ)上，以一定比例加入隨機(jī)選擇的action而來。通過調(diào)整?的大小，可以控制隨機(jī)探索與應(yīng)用現(xiàn)有策略之間的比例。

但是，在稍復(fù)雜一些的問題下，????????是一種比較低效的探索方法。因?yàn)楹茱@然，在?值也就是隨機(jī)的比例一定的情況下，Agent到達(dá)某個(gè)狀態(tài)s的幾率，隨著s離初始狀態(tài)距離的增加是成指數(shù)級降低的。我們需要除了簡單的隨機(jī)策略以外，更加有效的探索方式。

Intrinsic Rewards

既然RL的訓(xùn)練過程會(huì)讓agent的策略傾向于盡可能多地收集累積回報(bào)，那我們是不是可以自己構(gòu)造回報(bào)函數(shù)，來指導(dǎo)agent的探索呢？

這是一種比較通用的辦法。即在agent收到的環(huán)境reward之上，加入自己設(shè)計(jì)的intrinsic reward，指導(dǎo)agent趨向于這個(gè)reward所指引的方向。至于如何構(gòu)造這個(gè)intrinsic reward，不同的工作有不同的思路，這里僅舉一個(gè)例子：

即構(gòu)造一個(gè)專門的網(wǎng)絡(luò)來預(yù)測環(huán)境的transition model；這個(gè)transition model跟著策略/值網(wǎng)絡(luò)一起訓(xùn)練，只是以更慢的學(xué)習(xí)速度進(jìn)行。那么這個(gè)transition model預(yù)測環(huán)境變化的準(zhǔn)確度高的state，就認(rèn)為agent已經(jīng)很熟悉這個(gè)state了；反之，就認(rèn)為這個(gè)agent對當(dāng)前所處的環(huán)境不是很熟悉。所以，就是用transition model的training loss 來當(dāng)做intrinsic reward。這個(gè)training loss的方法被形象地稱為Curiosity Driven Exploration。

Deeper Exploration

前面提到，簡單的隨機(jī)策略會(huì)讓agent很難到達(dá)離初始狀態(tài)較遠(yuǎn)的狀態(tài)，就像布朗運(yùn)動(dòng)很難遠(yuǎn)離原點(diǎn)一樣。這樣的探索是一種很“淺”的探索，那如何讓探索更深呢？直觀的想法是減少隨機(jī)性，以避免在初始狀態(tài)原地打轉(zhuǎn)的情況；但隨機(jī)性太小的話，又會(huì)導(dǎo)致agent采集到的transition趨同，不利于訓(xùn)練。如何來平衡這兩點(diǎn)呢？

假設(shè)有一個(gè)團(tuán)隊(duì)來執(zhí)行探索迷宮的任務(wù)。其中A喜歡貼著右邊墻走；B喜歡貼著左邊墻走。那每次探索，團(tuán)隊(duì)都派不同的人出去執(zhí)行任務(wù)，是不是就可以實(shí)現(xiàn)每個(gè)人都深入到迷宮的不同部分了呢？

Bootstrapped DQN這個(gè)工作所采取的思路是這樣的：

每個(gè)head都是一組Q值；每個(gè)Episode僅根據(jù)一個(gè)head的Q值做greedy的探索，直到下一個(gè)Episode，再隨機(jī)選取一個(gè)head執(zhí)行探索。這樣，每個(gè)episode都會(huì)依據(jù)某一個(gè)head的策略執(zhí)行到底，保證了探索的一致性和深入；同時(shí)，只要能保持不同head之間的多樣性，從統(tǒng)計(jì)上來看，探索得到的transition也比較多樣化。?

Hierarchical RL

我們知道，人是有比較強(qiáng)的信息抽象能力的。對于數(shù)據(jù)的抽象，深度的神經(jīng)網(wǎng)絡(luò)也具備相似的能力，可以從高維度的、低層次的輸入數(shù)據(jù)（比如圖像），提取出低維度的，高層次的信息（比如圖片里有一只喵的概率）。但是對于行為來說，人同樣是具有很強(qiáng)的抽象能力的：可以從高維度、低層次的行為的基礎(chǔ)上，逐漸建立出低維度、高層次的行為。

舉一個(gè)例子，需要完成的任務(wù)是通過鍵盤猜測兩位數(shù)的密碼。正常的人類在完成這個(gè)任務(wù)的時(shí)候，其實(shí)際需要探索的狀態(tài)空間只有102個(gè)狀態(tài)，也就是兩位數(shù)密碼的所有組合；而按照普通的RL方法，agent輸出機(jī)械臂的所有控制信號來敲鍵盤的話，其探索的狀態(tài)空間是一個(gè)大得多的高維空間。

這就是層次式RL：Heirarchical RL的出發(fā)點(diǎn)：把策略（或者動(dòng)作）本身劃分為不同的層次，底層的策略負(fù)責(zé)完成一些底層的任務(wù)；上層的策略負(fù)責(zé)把底層策略結(jié)合起來，完成更復(fù)雜的任務(wù)。這樣，無論上層策略還是底層策略，其探索空間都大大減小。

通常，Heirarchical RL會(huì)把策略分為至少兩層，上層的策略負(fù)責(zé)輸出底層策略的階段性目標(biāo)，稱為goal或者option；然后底層策略在一定的時(shí)間周期內(nèi)，負(fù)責(zé)實(shí)現(xiàn)這個(gè)目標(biāo)。上層策略可以在此期間，負(fù)責(zé)輸出reward給底層策略，用來評價(jià)底層策略的執(zhí)行情況。

屬于這類的工作有很多，在此就不一一舉例了。

向?qū)＜覍W(xué)習(xí)

在RL的框架下，agent可以從零開始，探索環(huán)境，逐漸學(xué)習(xí)得到越來越好的策略。由于前面提到的各種原因，對比監(jiān)督學(xué)習(xí)來說，RL是個(gè)相對較慢的過程。

反觀人類學(xué)習(xí)某項(xiàng)任務(wù)的過程：人類具有很強(qiáng)的模仿能力，如果在學(xué)習(xí)的過程中，有老師示范的話，人類的學(xué)習(xí)速度將會(huì)大大提升。那是否可以讓RL中的agent，也能像人類一樣，從專家的行為中學(xué)習(xí)呢？

一個(gè)傳統(tǒng)的思路是Inverse RL：給出專家在完成任務(wù)的一些例子，先對環(huán)境的reward做出假設(shè)：R(s, a)；然后設(shè)法求出使得專家的例子收到的獎(jiǎng)勵(lì)最大化的R(s, a)，再反過來用R(s, a)指導(dǎo)agent的訓(xùn)練。通常這樣的R(s, a)返回的獎(jiǎng)勵(lì)是比環(huán)境本身的獎(jiǎng)勵(lì)要更稠密的，所以在R的指導(dǎo)下，agent學(xué)習(xí)會(huì)更快。

這種方法比較間接。還有更直接的做法：imitation learning，即設(shè)法讓agent的策略輸出和專家的輸出更接近。Imitation learning也有很多做法，這里就舉一個(gè)例子：

熟悉深度學(xué)習(xí)近期進(jìn)展的同學(xué)能看出來，這是一個(gè)對抗學(xué)習(xí)（Generative Adversarial Network，GAN）的結(jié)構(gòu)。在Generative Adversarial Imitation Learning這個(gè)工作里面，通過對抗學(xué)習(xí)，使得generator也就是policy輸出的trajectory的分布，盡量靠近專家的trajectory 的分布。然后可以再放進(jìn)RL的框架下，進(jìn)一步學(xué)習(xí)得到更好的策略。

分布式算法

RL的訓(xùn)練過程是很慢的。一個(gè)很花時(shí)間的程序，設(shè)法改成分布式以加速，是個(gè)很自然的想法。

那么，RL訓(xùn)練過程中，哪些部分可以并行化呢？

GORILA

上圖來自于Google Reinforcement Learning Architecture（Gorila）這個(gè)工作。我們會(huì)發(fā)現(xiàn)，只要有需要，RL過程中的各個(gè)部分皆可并行化：

· Environment：不同的環(huán)境實(shí)例之間相互獨(dú)立；

· Agent：Agent與environment一一對應(yīng)，只與自己的environment交互，所以也可以并行；

· Replay Memory：當(dāng)需要存儲(chǔ)超過單機(jī)容量的replay的時(shí)候，可以用多機(jī)存儲(chǔ)； learner, parameter, agent。

· Learners：不同的learner可以獨(dú)立地從experience replay中采樣數(shù)據(jù)并計(jì)算梯度，類似于監(jiān)督學(xué)習(xí)中的數(shù)據(jù)并行；

· Parameters：如果網(wǎng)絡(luò)規(guī)模比較大，那么可以用多機(jī)來保存和更新網(wǎng)絡(luò)參數(shù)，類似于監(jiān)督學(xué)習(xí)中的模型并行。

A3C

如果系統(tǒng)的部署規(guī)模還沒有到google這么大，那么Asynchronous Methods for Deep Reinforcement Learning這個(gè)工作比較值得關(guān)注：

從架構(gòu)上來說，比Gorila要簡單。細(xì)節(jié)先不展開了，這里有一個(gè)比較有意思的結(jié)論：

我們看到，當(dāng)把單機(jī)的算法改成分布式之后，有些算法獲得了超過1的加速比。這個(gè)在分布式計(jì)算中并不常見，因?yàn)閱螜C(jī)的算法很可能有一部分是沒法并行化的，同時(shí)并行化還帶來了通訊和調(diào)度的開銷。

原因在于，多個(gè)agent同時(shí)探索，往往會(huì)探索到environment的不同狀態(tài)。這樣，在訓(xùn)練的時(shí)候，采樣得到的訓(xùn)練數(shù)據(jù)之間相互的獨(dú)立性會(huì)更強(qiáng)。所以分布式訓(xùn)練除了利用了更多計(jì)算資源以外，對RL而言對于訓(xùn)練時(shí)候的樣本獨(dú)立同分布還有額外的好處。

文中提到的asynchronous advantage actor-critic, A3C算法是一個(gè)效果比較好的算法，值得感興趣的同學(xué)關(guān)注一下。

多任務(wù)和遷移

遷移學(xué)習(xí)不是一個(gè)新的話題。模型的訓(xùn)練是一件花時(shí)間的事情；人們希望訓(xùn)練好一個(gè)模型以后，能讓這個(gè)模型能完成不同的任務(wù)，或者至少對訓(xùn)練其他任務(wù)的模型有所幫助。在RL的領(lǐng)域，多任務(wù)和遷移的話題變得越來越重要，原因包括：

· 在現(xiàn)實(shí)的場景中，agent需要面臨的情況是很復(fù)雜的，可能不時(shí)會(huì)有新的情況發(fā)生；如果能讓agent學(xué)會(huì)處理新的情況速度大大加快，無疑是很有價(jià)值的。

· 我們知道，虛擬的Environment的執(zhí)行和探索的成本很低，而在真實(shí)的物理世界里探索成本非常高。但是通常，虛擬環(huán)境和真實(shí)環(huán)境總會(huì)有一些差異。如果能有辦法幫助在虛擬環(huán)境里訓(xùn)練好的agent更快地適應(yīng)真實(shí)環(huán)境的話，就可以讓在虛擬環(huán)境中訓(xùn)練、在實(shí)際場景下使用變得更加容易。

· 即使是完成單個(gè)任務(wù)，任務(wù)本身可能也有一些結(jié)構(gòu)值得探索，就像在Hierachical RL一節(jié)所思考的一樣。那么，將多任務(wù)的一些方法應(yīng)用在單個(gè)任務(wù)的訓(xùn)練中，也可以起到加快訓(xùn)練的作用。

Target Driven Navigation

有一個(gè)完成單一任務(wù)的程序，現(xiàn)在想讓它能完成更多任務(wù)？

從軟件工程的角度，最直接的辦法是把要完成的任務(wù)，也當(dāng)成程序輸入的一部分。這也是Target driven visual navigation in Indoor Scenes using deep RL這個(gè)工作的思路。

Progressive Neural Networks

上述方法要求任務(wù)之間具有比較強(qiáng)的一致性。如果還是希望分別訓(xùn)練多個(gè)網(wǎng)絡(luò)對應(yīng)多個(gè)任務(wù)呢？

這篇工作的思路是，讓已經(jīng)訓(xùn)練好的網(wǎng)絡(luò)也參與到新的任務(wù)網(wǎng)絡(luò)的訓(xùn)練過程中：因?yàn)橐呀?jīng)訓(xùn)練好的網(wǎng)絡(luò)所具有的信息抽取的能力，可能對新的任務(wù)有一定的參考價(jià)值。

Elastic Weight Consolidation

那么，是否真的就不能讓同一個(gè)agent或者說網(wǎng)絡(luò)，具有完成多個(gè)任務(wù)的能力呢？

從訓(xùn)練的角度來講，一個(gè)神經(jīng)網(wǎng)絡(luò)在兩個(gè)task下表現(xiàn)好，就意味著這個(gè)網(wǎng)絡(luò)的參數(shù)對于兩個(gè)task對應(yīng)的loss 都比較低。也就意味著，在訓(xùn)練好task A以后，在訓(xùn)練task B的時(shí)候，希望能保留對task A重要的參數(shù)，只改變對task A不重要的參數(shù)，來尋找能完成task B的策略。參數(shù)對task的重要程度，正好有個(gè)直接的衡量標(biāo)準(zhǔn)：即訓(xùn)練這個(gè)task的時(shí)候，loss對參數(shù)的梯度。這樣，只要調(diào)低對task A重要的參數(shù)的學(xué)習(xí)率，就能讓網(wǎng)絡(luò)不會(huì)“忘記”task A。

RL with unsupervised auxiliary tasks

如果是人類來學(xué)習(xí)完成某項(xiàng)任務(wù)的話，人類不會(huì)僅僅習(xí)得在某種state下應(yīng)該執(zhí)行某個(gè)action，而是會(huì)逐漸掌握這個(gè)任務(wù)的環(huán)境的一些一般規(guī)律，并利用這些知識，更快地習(xí)得更魯棒的策略。

在這個(gè)工作中，除了主要的訓(xùn)練流程之外， 還加入了幾個(gè)輔助的任務(wù)，來預(yù)測收集到的reward、迭代值函數(shù)、控制像素的變化情況，等等。這些輔助的任務(wù)和主任務(wù)之間，共享一部分網(wǎng)絡(luò)機(jī)構(gòu)。一個(gè)很合理的直覺是：一個(gè)能很好從環(huán)境中預(yù)測收到的reward的網(wǎng)絡(luò)，它從state中提取出來的信息也對完成這個(gè)任務(wù)非常有用。

Curriculum Learning

人類在學(xué)習(xí)某項(xiàng)技能的時(shí)候，如果先從簡單的情形開始學(xué)起，循序漸進(jìn)提高難度，那么學(xué)習(xí)很容易很多，這就是所謂的學(xué)習(xí)曲線。相同的思路應(yīng)用在RL上，就是課程表學(xué)習(xí)：

以上是個(gè)玩射擊游戲的例子，不同的class 實(shí)際上是不同難度的同一個(gè)任務(wù)。Class 0是最容易的，意味著更容易收集到有意義的reward，所以訓(xùn)練起來比較容易；能順利完成class 0的agent，相比未經(jīng)訓(xùn)練的agent來說，在class 1里面收集到reward的難度要低，所以訓(xùn)練起來也比較容易，以此類推，就能逐漸完成我們最終設(shè)定的任務(wù)。

后記

可以看出，上述的各種進(jìn)展，是用新的手段，解決更復(fù)雜的任務(wù)，同時(shí)不斷定位問題并解決改善的過程。由于篇幅和角度所限，不少近期的進(jìn)展并沒有覆蓋到；同時(shí)，上述所有的工作所聲稱要解決的問題，還遠(yuǎn)未達(dá)到解決得很好的程度，他們各自起作用也有一些假設(shè)和作用范圍，所以這些問題都還是開放性的話題。相信不久的將來，RL的進(jìn)展會(huì)體現(xiàn)在更多的實(shí)際應(yīng)用場景中，甚至催生出很多新的產(chǎn)品形態(tài)，這也是學(xué)界和業(yè)界共同努力的方向，讓我們拭目以待。

原文地址：?https://www.leiphone.com/news/201707/SZFwTZG2UxF1Wh4I.html

總結(jié)

以上是生活随笔為你收集整理的干货 | 算法工程师入门第二期——穆黎森讲增强学习（二）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。