研究動機

變分自編碼器（Variational Auto-Ecnoders, VAEs）在自然語言處理的很多任務中都有應用。VAEs 的目標函數(shù)包括兩項：1）重建項；2）KL 正則項。這兩項可以用一個權重系數(shù) beta 來調(diào)節(jié)平衡，通常情況下 beta 設置為常數(shù) 1。

當 VAEs 用到自然語言處理時，它的解碼器 decoder 通常由一個自回歸模型（auto-regressive model）實現(xiàn)。然而這樣往往會導致訓練過程中出現(xiàn)一個糟心的難題：KL 正則項會消失趨近 0。在實踐中，這意味著學習到的特征將不再能夠表達觀測到的數(shù)據(jù)。本文的目的是希望能夠找到一種策略去解決 KL 消失問題。

研究方法

本文提出一種只需要在訓練過程中動態(tài)調(diào)節(jié) beta 就能緩和 KL 消失的策略：Cyclical Annealing Schedule。它周期性地調(diào)節(jié) beta ，在每一個周期內(nèi)有兩個階段：1）beta 值從 0 增加 1；2）并在 beta=1 的時候訓練 VAEs。以此多次重復這個周期 M 次（注意是多次）。

舉個例子：下圖的黑線就是 M=4 個周期，注意，當 M=1 時，我們就回歸了以前的單調(diào)增加 beta 的方法，如下圖的紅線。

實驗結果

兩方面：1）我們可以通過可視化學習到的特征來洞察不同方法在訓練中的表現(xiàn)，發(fā)現(xiàn)周期性調(diào)節(jié) beta 可以循序漸進地讓結果變好；2）我們在三個自然語言處理的任務上驗證了算法的有效性，包括語言建模，對話生成，無監(jiān)督特征學習。

創(chuàng)新點

1. 我們首先提出兩條信息流惡性競爭去產(chǎn)生數(shù)據(jù)（two-path competition）的觀點去闡釋 KL 消失的問題。

2. 根據(jù)這個理論，我們可以解釋為什么前面的固定或者調(diào)整 beta 的方法會有各自所對應的現(xiàn)象。在此基礎上，我們提出一種簡單重復周期性調(diào)整 beta 的策略去或者 KL 消失問題 。

3. 請注意，我們的方法并沒有增加額外計算量，在實踐中很容易去實用，或者其它改變模型的方法去結合。比如，可以通過調(diào)用下面的函數(shù)來實現(xiàn)本文的 beta 策略：

def?frange_cycle_linear(n_iter,?start=0.0,?stop=1.0,??n_cycle=4,?ratio=0.5):
????L?=?np.ones(n_iter)?*?stop
????period?=?n_iter/n_cycle
????step?=?(stop-start)/(period*ratio)?#?linear?schedule

????for?c?in?range(n_cycle):
????????v,?i?=?start,?0
????????while?v?<=?stop?and?(int(i+c*period)?<?n_iter):
????????????L[int(i+c*period)]?=?v
????????????v?+=?step
????????????i?+=?1
????return?L?

個人點評

先貼代碼和博客鏈接：

Code:

https://github.com/haofuml/cyclical_annealing?

MSR Blog:?

https://www.microsoft.com/en-us/research/blog/less-pain-more-gain-a-simple-method-for-vae-training-with-less-of-that-kl-vanishing-agony/?OCID=msr_blog_klvanish_NAACL_tw?

個人覺得兩點比較有意思：1）對于 KL 消失的做出了的兩條信息流競爭的闡釋；2）算法簡單，易用，有效。希望大家能從本文能有所收獲，做出更加有效的方法。

點擊以下標題查看更多往期內(nèi)容：?

• CVPR 2019 | 無監(jiān)督領域特定單圖像去模糊

• 圖神經(jīng)網(wǎng)絡綜述：模型與應用

• 近期值得讀的10篇GAN進展論文

• 小樣本學習（Few-shot Learning）綜述
  

• 萬字綜述之生成對抗網(wǎng)絡（GAN）

• 可逆ResNet：極致的暴力美學
  

• 小米拍照黑科技：基于NAS的圖像超分辨率算法

• AAAI 2019 | 基于區(qū)域分解集成的目標檢測

  
  

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。