?1 算法介紹

1.1 LSTM

人類并不是每時每刻都從一片空白的大腦開始他們的思考。在你閱讀這篇文章時候，你都是基于自己已經擁有的對先前所見詞的理解來推斷當前詞的真實含義。我們不會將所有的東西都全部丟棄，然后用空白的大腦進行思考。我們的思想擁有持久性。 傳統的神經網絡并不能做到這點，看起來也像是一種巨大的弊端。例如，假設你希望對電影中的每個時間點的時間類型進行分類。傳統的神經網絡應該很難來處理這個問題——使用電影中先前的事件推斷后續的事件。 RNN 解決了這個問題。RNN 是包含循環的網絡，允許信息的持久化。

RNN 包含循環

在上面的示例圖中，神經網絡的模塊，A，正在讀取某個輸入 x_i，并輸出一個值 h_i。循環可以使得信息可以從當前步傳遞到下一步。 這些循環使得 RNN 看起來非常神秘。然而，如果你仔細想想，這樣也不比一個正常的神經網絡難于理解。RNN 可以被看做是同一神經網絡的多次復制，每個神經網絡模塊會把消息傳遞給下一個。所以，如果我們將這個循環展開：

展開的 RNN

鏈式的特征揭示了 RNN 本質上是與序列和列表相關的。他們是對于這類數據的最自然的神經網絡架構。 并且 RNN 也已經被人們應用了！在過去幾年中，應用 RNN 在語音識別，語言建模，翻譯，圖片描述等問題上已經取得一定成功，并且這個列表還在增長。我建議大家參考 Andrej Karpathy 的博客文章——The Unreasonable Effectiveness of Recurrent Neural Networks 來看看更豐富有趣的 RNN 的成功應用。 而這些成功應用的關鍵之處就是 LSTM 的使用，這是一種特別的 RNN，比標準的 RNN 在很多的任務上都表現得更好。幾乎所有的令人振奮的關于 RNN 的結果都是通過 LSTM 達到的。這篇博文也會就 LSTM 進行展開。

長期依賴（Long-Term Dependencies）問題

RNN 的關鍵點之一就是他們可以用來連接先前的信息到當前的任務上，例如使用過去的視頻段來推測對當前段的理解。如果 RNN 可以做到這個，他們就變得非常有用。但是真的可以么？答案是，還有很多依賴因素。 有時候，我們僅僅需要知道先前的信息來執行當前的任務。例如，我們有一個語言模型用來基于先前的詞來預測下一個詞。如果我們試著預測 “the clouds are in the sky” 最后的詞，我們并不需要任何其他的上下文 —— 因此下一個詞很顯然就應該是 sky。在這樣的場景中，相關的信息和預測的詞位置之間的間隔是非常小的，RNN 可以學會使用先前的信息。

不太長的相關信息和位置間隔

但是同樣會有一些更加復雜的場景。假設我們試著去預測“I grew up in France... I speak fluent French”最后的詞。當前的信息建議下一個詞可能是一種語言的名字，但是如果我們需要弄清楚是什么語言，我們是需要先前提到的離當前位置很遠的 France 的上下文的。這說明相關信息和當前預測位置之間的間隔就肯定變得相當的大。 不幸的是，在這個間隔不斷增大時，RNN 會喪失學習到連接如此遠的信息的能力。

相當長的相關信息和位置間隔

在理論上，RNN 絕對可以處理這樣的 長期依賴 問題。人們可以仔細挑選參數來解決這類問題中的最初級形式，但在實踐中，RNN 肯定不能夠成功學習到這些知識。Bengio, et al. (1994)等人對該問題進行了深入的研究，他們發現一些使訓練 RNN 變得非常困難的相當根本的原因。 然而，幸運的是，LSTM 并沒有這個問題！

LSTM 網絡

Long Short Term 網絡—— 一般就叫做 LSTM ——是一種 RNN 特殊的類型，可以學習長期依賴信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves進行了改良和推廣。在很多問題，LSTM 都取得相當巨大的成功，并得到了廣泛的使用。 LSTM 通過刻意的設計來避免長期依賴問題。記住長期的信息在實踐中是 LSTM 的默認行為，而非需要付出很大代價才能獲得的能力！ 所有 RNN 都具有一種重復神經網絡模塊的鏈式的形式。在標準的 RNN 中，這個重復的模塊只有一個非常簡單的結構，例如一個 tanh 層。

標準 RNN 中的重復模塊包含單一的層

LSTM 同樣是這樣的結構，但是重復的模塊擁有一個不同的結構。不同于 單一神經網絡層，這里是有四個，以一種非常特殊的方式進行交互。

LSTM 中的重復模塊包含四個交互的層

不必擔心這里的細節。我們會一步一步地剖析 LSTM 解析圖。現在，我們先來熟悉一下圖中使用的各種元素的圖標。

LSTM 中的圖標

在上面的圖例中，每一條黑線傳輸著一整個向量，從一個節點的輸出到其他節點的輸入。粉色的圈代表 pointwise 的操作，諸如向量的和，而黃色的矩陣就是學習到的神經網絡層。合在一起的線表示向量的連接，分開的線表示內容被復制，然后分發到不同的位置。

LSTM 的核心思想

LSTM 的關鍵就是細胞狀態，水平線在圖上方貫穿運行。 細胞狀態類似于傳送帶。直接在整個鏈上運行，只有一些少量的線性交互。信息在上面流傳保持不變會很容易。

Paste_Image.png

LSTM 有通過精心設計的稱作為“門”的結構來去除或者增加信息到細胞狀態的能力。門是一種讓信息選擇式通過的方法。他們包含一個 sigmoid 神經網絡層和一個 pointwise 乘法操作。

Paste_Image.png

Sigmoid 層輸出 0 到 1 之間的數值，描述每個部分有多少量可以通過。0 代表“不許任何量通過”，1 就指“允許任意量通過”！

LSTM 擁有三個門，來保護和控制細胞狀態。

逐步理解 LSTM

在我們 LSTM 中的第一步是決定我們會從細胞狀態中丟棄什么信息。這個決定通過一個稱為忘記門層完成。該門會讀取h_{t-1}和x_t，輸出一個在 0 到 1 之間的數值給每個在細胞狀態C_{t-1}中的數字。1 表示“完全保留”，0 表示“完全舍棄”。 讓我們回到語言模型的例子中來基于已經看到的預測下一個詞。在這個問題中，細胞狀態可能包含當前主語的性別，因此正確的代詞可以被選擇出來。當我們看到新的主語，我們希望忘記舊的主語。

決定丟棄信息

下一步是確定什么樣的新信息被存放在細胞狀態中。這里包含兩個部分。第一，sigmoid 層稱 “輸入門層” 決定什么值我們將要更新。然后，一個 tanh 層創建一個新的候選值向量，\tilde{C}_t，會被加入到狀態中。下一步，我們會講這兩個信息來產生對狀態的更新。 在我們語言模型的例子中，我們希望增加新的主語的性別到細胞狀態中，來替代舊的需要忘記的主語。

確定更新的信息

現在是更新舊細胞狀態的時間了，C_{t-1}更新為C_t。前面的步驟已經決定了將會做什么，我們現在就是實際去完成。 我們把舊狀態與f_t相乘，丟棄掉我們確定需要丟棄的信息。接著加上i_t * \tilde{C}_t。這就是新的候選值，根據我們決定更新每個狀態的程度進行變化。 在語言模型的例子中，這就是我們實際根據前面確定的目標，丟棄舊代詞的性別信息并添加新的信息的地方。

更新細胞狀態

最終，我們需要確定輸出什么值。這個輸出將會基于我們的細胞狀態，但是也是一個過濾后的版本。首先，我們運行一個 sigmoid 層來確定細胞狀態的哪個部分將輸出出去。接著，我們把細胞狀態通過 tanh 進行處理（得到一個在 -1 到 1 之間的值）并將它和 sigmoid 門的輸出相乘，最終我們僅僅會輸出我們確定輸出的那部分。 在語言模型的例子中，因為他就看到了一個 代詞，可能需要輸出與一個 動詞 相關的信息。例如，可能輸出是否代詞是單數還是負數，這樣如果是動詞的話，我們也知道動詞需要進行的詞形變化。

輸出信息

LSTM 的變體

我們到目前為止都還在介紹正常的 LSTM。但是不是所有的 LSTM 都長成一個樣子的。實際上，幾乎所有包含 LSTM 的論文都采用了微小的變體。差異非常小，但是也值得拿出來講一下。 其中一個流形的 LSTM 變體，就是由 Gers & Schmidhuber (2000) 提出的，增加了 “peephole connection”。是說，我們讓 門層 也會接受細胞狀態的輸入。

peephole 連接

上面的圖例中，我們增加了 peephole 到每個門上，但是許多論文會加入部分的 peephole 而非所有都加。

另一個變體是通過使用 coupled 忘記和輸入門。不同于之前是分開確定什么忘記和需要添加什么新的信息，這里是一同做出決定。我們僅僅會當我們將要輸入在當前位置時忘記。我們僅僅輸入新的值到那些我們已經忘記舊的信息的那些狀態 。

coupled 忘記門和輸入門

另一個改動較大的變體是 Gated Recurrent Unit (GRU)，這是由 Cho, et al. (2014) 提出。它將忘記門和輸入門合成了一個單一的 更新門。同樣還混合了細胞狀態和隱藏狀態，和其他一些改動。最終的模型比標準的 LSTM 模型要簡單，也是非常流行的變體。

GRU

這里只是部分流行的 LSTM 變體。當然還有很多其他的，如Yao, et al. (2015) 提出的 Depth Gated RNN。還有用一些完全不同的觀點來解決長期依賴的問題，如Koutnik, et al. (2014) 提出的 Clockwork RNN。 要問哪個變體是最好的？其中的差異性真的重要嗎？Greff, et al. (2015) 給出了流行變體的比較，結論是他們基本上是一樣的。Jozefowicz, et al. (2015) 則在超過 1 萬種 RNN 架構上進行了測試，發現一些架構在某些任務上也取得了比 LSTM 更好的結果。

Jozefowicz等人論文截圖

結論

剛開始，我提到通過 RNN 得到重要的結果。本質上所有這些都可以使用 LSTM 完成。對于大多數任務確實展示了更好的性能！ 由于 LSTM 一般是通過一系列的方程表示的，使得 LSTM 有一點令人費解。然而本文中一步一步地解釋讓這種困惑消除了不少。 LSTM 是我們在 RNN 中獲得的重要成功。很自然地，我們也會考慮：哪里會有更加重大的突破呢？在研究人員間普遍的觀點是：“Yes! 下一步已經有了——那就是注意力！” 這個想法是讓 RNN 的每一步都從更加大的信息集中挑選信息。例如，如果你使用 RNN 來產生一個圖片的描述，可能會選擇圖片的一個部分，根據這部分信息來產生輸出的詞。實際上，Xu, et al.(2015)已經這么做了——如果你希望深入探索注意力可能這就是一個有趣的起點！還有一些使用注意力的相當振奮人心的研究成果，看起來有更多的東西亟待探索…… 注意力也不是 RNN 研究領域中唯一的發展方向。例如，Kalchbrenner, et al. (2015) 提出的 Grid LSTM 看起來也是很有前途。使用生成模型的 RNN，諸如Gregor, et al. (2015) Chung, et al. (2015) 和 Bayer & Osendorfer (2015) 提出的模型同樣很有趣。在過去幾年中，RNN 的研究已經相當的燃，而研究成果當然也會更加豐富！

1.2 貝葉斯網絡

1 貝葉斯方法

長久以來，人們對一件事情發生或不發生的概率，只有固定的0和1，即要么發生，要么不發生，從來不會去考慮某件事情發生的概率有多大，不發生的概率又是多大。而且概率雖然未知，但最起碼是一個確定的值。比如如果問那時的人們一個問題：“有一個袋子，里面裝著若干個白球和黑球，請問從袋子中取得白球的概率是多少？”他們會想都不用想，會立馬告訴你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一個值，而且不論你取了多少次，取得白球的概率θ始終都是1/2，即不隨觀察結果X 的變化而變化。這種頻率派的觀點長期統治著人們的觀念，直到后來一個名叫Thomas Bayes的人物出現。

1.1 貝葉斯方法的提出

回到上面的例子：“有一個袋子，里面裝著若干個白球和黑球，請問從袋子中取得白球的概率θ是多少？”貝葉斯認為取得白球的概率是個不確定的值，因為其中含有機遇的成分。比如，一個朋友創業，你明明知道創業的結果就兩種，即要么成功要么失敗，但你依然會忍不住去估計他創業成功的幾率有多大？你如果對他為人比較了解，而且有方法、思路清晰、有毅力、且能團結周圍的人，你會不由自主的估計他創業成功的幾率可能在80%以上。這種不同于最開始的“非黑即白、非0即1”的思考方式，便是貝葉斯式的思考方式。

繼續深入講解貝葉斯方法之前，先簡單總結下頻率派與貝葉斯派各自不同的思考方式：

• 頻率派把需要推斷的參數θ看做是固定的未知常數，即概率雖然是未知的，但最起碼是確定的一個值，同時，樣本X 是隨機的，所以頻率派重點研究樣本空間，大部分的概率計算都是針對樣本X 的分布；

• 而貝葉斯派的觀點則截然相反，他們認為參數是隨機變量，而樣本X 是固定的，由于樣本是固定的，所以他們重點研究的是參數的分布。

貝葉斯派既然把看做是一個隨機變量，所以要計算的分布，便得事先知道的無條件分布，即在有樣本之前（或觀察到X之前），有著怎樣的分布呢？

比如往臺球桌上扔一個球，這個球落會落在何處呢？如果是不偏不倚的把球拋出去，那么此球落在臺球桌上的任一位置都有著相同的機會，即球落在臺球桌上某一位置的概率服從均勻分布。這種在實驗之前定下的屬于基本前提性質的分布稱為先驗分布，或的無條件分布。

至此，貝葉斯及貝葉斯派提出了一個思考問題的固定模式：

• 先驗分布 + 樣本信息 后驗分布

上述思考模式意味著，新觀察到的樣本信息將修正人們以前對事物的認知。換言之，在得到新的樣本信息之前，人們對的認知是先驗分布，在得到新的樣本信息后，人們對的認知為

其中，先驗信息一般來源于經驗跟歷史資料。比如林丹跟某選手對決，解說一般會根據林丹歷次比賽的成績對此次比賽的勝負做個大致的判斷。再比如，某工廠每天都要對產品進行質檢，以評估產品的不合格率θ，經過一段時間后便會積累大量的歷史資料，這些歷史資料便是先驗知識，有了這些先驗知識，便在決定對一個產品是否需要每天質檢時便有了依據，如果以往的歷史資料顯示，某產品的不合格率只有0.01%，便可視為信得過產品或免檢產品，只每月抽檢一兩次，從而省去大量的人力物力。

而后驗分布一般也認為是在給定樣本的情況下的條件分布，而使達到最大的值稱為最大后驗估計，類似于經典統計學中的極大似然估計。

綜合起來看，則好比是人類剛開始時對大自然只有少得可憐的先驗知識，但隨著不斷是觀察、實驗獲得更多的樣本、結果，使得人們對自然界的規律摸得越來越透徹。所以，貝葉斯方法既符合人們日常生活的思考方式，也符合人們認識自然的規律，經過不斷的發展，最終占據統計學領域的半壁江山，與經典統計學分庭抗禮。

1.2 貝葉斯定理

在引出貝葉斯定理之前，先學習幾個定義：

• 條件概率（又稱后驗概率）就是事件A在另外一個事件B已經發生條件下的發生概率。條件概率表示為P(A|B)，讀作“在B條件下A的概率”。

• 聯合概率表示兩個事件共同發生的概率。A與B的聯合概率表示為或者。

• 邊緣概率（又稱先驗概率）是某個事件發生的概率。邊緣概率是這樣得到的：在聯合概率中，把最終結果中那些不需要的事件通過合并成它們的全概率，而消去它們（對離散隨機變量用求和得全概率，對連續隨機變量用積分得全概率），這稱為邊緣化（marginalization），比如A的邊緣概率表示為P(A)，B的邊緣概率表示為P(B)。

接著，考慮一個問題：P(A|B)是在B發生的情況下A發生的可能性。

• 首先，事件B發生之前，我們對事件A的發生有一個基本的概率判斷，稱為A的先驗概率，用P(A)表示；

• 其次，事件B發生之后，我們對事件A的發生概率重新評估，稱為A的后驗概率，用P(A|B)表示；

• 類似的，事件A發生之前，我們對事件B的發生有一個基本的概率判斷，稱為B的先驗概率，用P(B)表示；

• 同樣，事件A發生之后，我們對事件B的發生概率重新評估，稱為B的后驗概率，用P(B|A)表示。

貝葉斯定理便是基于下述貝葉斯公式：

貝葉斯公式可以直接根據條件概率的定義直接推出。即因為P(A,B) = P(A)P(B|A) = P(B)P(A|B)，所以P(A|B) = P(A)P(B|A) / P(B)。

2 部分代碼

clc; clear; close all; %% ---------------------------- init Variabels ---------------------------- opt.Delays = 1:30; opt.dataPreprocessMode = 'Data Standardization'; % 'None' 'Data Standardization' 'Data Normalization' opt.learningMethod ? ? = 'LSTM'; opt.trPercentage ? ? ? = 0.80; ? ? ? ? ? ? ? ? ? % divide data into Test and Train dataset ? % ---- General Deep Learning Parameters(LSTM and CNN General Parameters) opt.maxEpochs ? ? = 400; ? ? ? ? ? ? ? ? ? ? ? ? % maximum number of training Epoch in deeplearning algorithms. opt.miniBatchSize = 32; ? ? ? ? ? ? ? ? ? ? ? ? % minimum batch size in deeplearning algorithms . opt.executionEnvironment = 'cpu'; ? ? ? ? ? ? ? ?% 'cpu' 'gpu' 'auto' opt.LR ? ? ? ? ? ? ? ? ? = 'adam'; ? ? ? ? ? ? ? % 'sgdm' 'rmsprop' 'adam' opt.trainingProgress ? ? = 'none'; ?% 'training-progress' 'none' ? % ------------- BILSTM parameters opt.isUseBiLSTMLayer = true; ? ? ? ? ? ? ? ? ? ? % if it is true the layer turn to the Bidirectional-LSTM and if it is false it will turn the units to the simple LSTM opt.isUseDropoutLayer = true; ? ? ? ? ? ? ? ? ? ?% dropout layer avoid of bieng overfit opt.DropoutValue ? ? = 0.5; ? % ------------ Optimization Parameters opt.optimVars = [optimizableVariable('NumOfLayer',[1 4],'Type','integer')optimizableVariable('NumOfUnits',[50 200],'Type','integer')optimizableVariable('isUseBiLSTMLayer',[1 2],'Type','integer')optimizableVariable('InitialLearnRate',[1e-2 1],'Transform','log')optimizableVariable('L2Regularization',[1e-10 1e-2],'Transform','log')]; ? opt.isUseOptimizer ? ? ? ? = true; ? opt.MaxOptimizationTime ? = 14*60*60; opt.MaxItrationNumber ? ? = 60; opt.isDispOptimizationLog = true; ? opt.isSaveOptimizedValue ? ? ? = false; ? ? ? ?% save all of Optimization output on mat files opt.isSaveBestOptimizedValue ? = true; ? ? ? ? % save Best Optimization output o丿 a mat file ? ? ? %% --------------- load Data data = loadData(opt); if ~data.isDataReadreturn; end ? %% --------------- Prepair Data [opt,data] = PrepareData(opt,data); ? %% --------------- Find Best LSTM Parameters with Bayesian Optimization [opt,data] = OptimizeLSTM(opt,data); ? %% --------------- Evaluate Data [opt,data] = EvaluationData(opt,data); ? ? ? %% ---------------------------- Local Functions --------------------------- function data = loadData(opt) [chosenfile,chosendirectory] = uigetfile({'*.xlsx';'*.csv'},...'Select Excel time series Data sets','data.xlsx'); filePath = [chosendirectory chosenfile]; if filePath ~= 0data.DataFileName = chosenfile;data.CompleteData = readtable(filePath);if size(data.CompleteData,2)>1warning('Input data should be an excel file with only one column!');disp('Operation Failed... '); pause(.9);disp('Reloading data. '); ? ? pause(.9);data.x = [];data.isDataRead = false;return;enddata.seriesdataHeder = data.CompleteData.Properties.VariableNames(1,:);data.seriesdata = table2array(data.CompleteData(:,:));disp('Input data successfully read.');data.isDataRead = true;data.seriesdata = PreInput(data.seriesdata);figure('Name','InputData','NumberTitle','off');plot(data.seriesdata); grid minor;title({['Mean = ' num2str(mean(data.seriesdata)) ', STD = ' num2str(std(data.seriesdata)) ];});if strcmpi(opt.dataPreprocessMode,'None')data.x = data.seriesdata;elseif strcmpi(opt.dataPreprocessMode,'Data Normalization')data.x = DataNormalization(data.seriesdata);figure('Name','NormilizedInputData','NumberTitle','off');plot(data.x); grid minor;title({['Mean = ' num2str(mean(data.x)) ', STD = ' num2str(std(data.x)) ];});elseif strcmpi(opt.dataPreprocessMode,'Data Standardization')data.x = DataStandardization(data.seriesdata);figure('Name','NormilizedInputData','NumberTitle','off');plot(data.x); grid minor;title({['Mean = ' num2str(mean(data.x)) ', STD = ' num2str(std(data.x)) ];});endelsewarning(['In order to train network, please load data.' ...'Input data should be an excel file with only one column!']);disp('Operation Cancel.');data.isDataRead = false; end end function data = PreInput(data) if iscell(data)for i=1:size(data,1)for j=1:size(data,2)if strcmpi(data{i,j},'#NULL!')tempVars(i,j) = NaN; %#okelsetempVars(i,j) = str2num(data{i,j}); ? %#okendendenddata = tempVars; end end function vars = DataStandardization(data) for i=1:size(data,2)x.mu(1,i) ? = mean(data(:,i),'omitnan');x.sig(1,i) = std (data(:,i),'omitnan');vars(:,i) = (data(:,i) - x.mu(1,i))./ x.sig(1,i); end end function vars = DataNormalization(data) for i=1:size(data,2)vars(:,i) = (data(:,i) -min(data(:,i)))./ (max(data(:,i))-min(data(:,i))); end end % --------------- data preparation for LSTM --- function [opt,data] = PrepareData(opt,data) % prepare delays for time serie network data = CreateTimeSeriesData(opt,data); ? % divide data into test and train data data = dataPartitioning(opt,data); ? % LSTM data form data = LSTMInput(data); end ? % ----Run Bayesian Optimization Hyperparameters for LSTM Network Parameters function [opt,data] = OptimizeLSTM(opt,data) if opt.isDispOptimizationLogisLog = 2; elseisLog = 0; end if opt.isUseOptimizeropt.ObjFcn = ObjFcn(opt,data);BayesObject = bayesopt(opt.ObjFcn,opt.optimVars, ...'MaxTime',opt.MaxOptimizationTime, ...'IsObjectiveDeterministic',false, ...'MaxObjectiveEvaluations',opt.MaxItrationNumber,...'Verbose',isLog,...'UseParallel',false); end end ? % ---------------- objective function function ObjFcn = ObjFcn(opt,data) ObjFcn = @CostFunction; ? function [valError,cons,fileName] = CostFunction(optVars) inputSize ? = size(data.X,1); outputMode ? = 'last'; numResponses = 1; dropoutVal ? = .5; ? if optVars.isUseBiLSTMLayer == 2optVars.isUseBiLSTMLayer = 0; end ? if opt.isUseDropoutLayer % if dropout layer is trueif optVars.NumOfLayer ==1if optVars.isUseBiLSTMLayeropt.layers = [ ...sequenceInputLayer(inputSize)

3 仿真結果

?

?

?

?

?

?

4 參考文獻

[1]馬梓程. 基于貝葉斯優化的LSTM模型在動力電池SoC估算中的應用[D]. 江蘇大學.

[2]司陽, 肖秦琨. 基于長短時記憶和動態貝葉斯網絡的序列預測[J]. 計算機技術與發展, 2018, 28(009):59-63.

5 代碼下載

?

總結

以上是生活随笔為你收集整理的【预测模型】基于贝叶斯优化的LSTM模型实现数据预测matlab源码的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。