快速ES-RNN: ES-RNN算法的GPU實(shí)現(xiàn)

題目：

Fast ES-RNN: A GPU Implementation of the ES-RNN Algorithm

作者：

Andrew Redd, Kaung Khin, Aldo Marini

來(lái)源：

Machine Learning (cs.LG)

Submitted on 7 Jul 2019

文檔鏈接：

arXiv:1907.03329

代碼鏈接：

摘要

由于它們的普遍存在，時(shí)間序列預(yù)測(cè)在多個(gè)領(lǐng)域都是至關(guān)重要的。我們力求使最先進(jìn)的預(yù)測(cè)快速、簡(jiǎn)便、可推廣。ES-RNN是經(jīng)典狀態(tài)空間預(yù)測(cè)模型與現(xiàn)代RNNs的結(jié)合，在M4競(jìng)爭(zhēng)中取得了9.4%的sMAPE改進(jìn)。關(guān)鍵是，ES-RNN的實(shí)現(xiàn)需要每次序列參數(shù)。通過(guò)對(duì)原始實(shí)現(xiàn)進(jìn)行矢量化并將算法移植到GPU上，我們根據(jù)批處理大小實(shí)現(xiàn)了高達(dá)322x的訓(xùn)練加速，結(jié)果與原始提交中報(bào)告的結(jié)果類似。

英文原文

Due to their prevalence, time series forecasting is crucial in multiple domains. We seek to make state-of-the-art forecasting fast, accessible, and generalizable. ES-RNN is a hybrid between classical state space forecasting models and modern RNNs that achieved a 9.4% sMAPE improvement in the M4 competition. Crucially, ES-RNN implementation requires per-time series parameters. By vectorizing the original implementation and porting the algorithm to a GPU, we achieve up to 322x training speedup depending on batch size with similar results as those reported in the original submission.

要點(diǎn)

我們的任務(wù)是使最先進(jìn)的預(yù)測(cè)快速、簡(jiǎn)便、可推廣。首先，我們通過(guò)將Smyl s的原始c++提交移植到Pytorch來(lái)實(shí)現(xiàn)快速培訓(xùn)。這種矢量化允許使用GPU，提供高達(dá)322x的訓(xùn)練加速。其次，Python代碼使預(yù)測(cè)和機(jī)器學(xué)習(xí)社區(qū)更容易訪問(wèn)模型。1 .最后，Pytorch的使用使得模型的泛化更加容易，因?yàn)閹?kù)中包含多個(gè)架構(gòu)，可以補(bǔ)充ES-RNN在非m4時(shí)間序列中的應(yīng)用。我們期望我們的貢獻(xiàn)，以加快采用混合模型在時(shí)間序列預(yù)測(cè)。

表1：網(wǎng)絡(luò)中設(shè)置的參數(shù)總結(jié)

圖1：Smyl等人(2018)的NN架構(gòu)示意圖

表2:M4按類型和系列頻率排列的數(shù)據(jù)

表3:頻率序列長(zhǎng)度統(tǒng)計(jì)

圖2:Smyl等人(2018)定義的時(shí)間序列規(guī)范化和消除季節(jié)性因素處理

表4:結(jié)果與M4基線模型的比較

表5:15輪的運(yùn)行時(shí)間迭代后結(jié)果比較

圖3:Smyl等人(2018)的NN架構(gòu)

在這個(gè)項(xiàng)目中，我們成功地將最先進(jìn)的ES-RNN算法應(yīng)用于一個(gè)快速、可訪問(wèn)、可推廣的預(yù)測(cè)框架中。我們克服的主要挑戰(zhàn)是每次序列參數(shù)的訓(xùn)練。由于直接在CPU上實(shí)現(xiàn)原始提交，這證明是困難的。我們的工作集中在每次序列參數(shù)的矢量化上，以使GPU計(jì)算在一個(gè)支持快速執(zhí)行的框架中(如Pytorch)。我們得到了與原始提交的結(jié)果相似的結(jié)果，但是少了幾個(gè)數(shù)量級(jí)的訓(xùn)練時(shí)間。

我們預(yù)計(jì)我們的貢獻(xiàn)將使最先進(jìn)的算法在單變量序列上得到強(qiáng)有力的采用，并有助于將模型推廣到可使用協(xié)變量的特定問(wèn)題。

總結(jié)

以上是生活随笔為你收集整理的es 怎么嵌入 算法模型_快速ES-RNN: ES-RNN算法的GPU实现的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。