Tensorflow LSTM时间序列预测的尝试
一、網上的資源
網上有不少用LSTM來預測時間序列的資源，如下面：
深度學習（08）_RNN-LSTM循環神經網絡-03-Tensorflow進階實現
http://blog.csdn.net/u013082989/article/details/73693392
Applying Deep Learning to Time Series Forecasting with TensorFlow
https://mapr.com/blog/deep-learning-tensorflow/
Tensorflow 筆記 RNN 預測時間序列
https://www.v2ex.com/t/339544
tf19: 預測鐵路客運量
http://blog.csdn.net/u014365862/article/details/53869802
但是調試起來，都很困難！借鑒比較多的是tf19:預測鐵路客運量這篇博文。這篇博文首先是基本上可以運行的。但是訓練模型和測試模型分開，需要通過文件來傳遞模型參數。而且訓練和測試不能同時運行。因此調試起來也費了不少功夫！
二、LSTM時間序列預測
1. 用namedtuple來配置模型的超參數。
HParams = namedtuple('HParams',?'seq_size, hidden_size, learning_rate')
這種方式比定義一個Config類好。
2. 構建時間序列預測模型類TS_LSTM
class TS_LSTM(object):def __init__(self, hps):self._X = X = tf.placeholder(tf.float32, [None, hps.seq_size, 1]) ?self._Y = Y = tf.placeholder(tf.float32, [None, hps.seq_size]) ? ? ?W = tf.Variable(tf.random_normal([hps.hidden_size, 1]), name='W') ?b = tf.Variable(tf.random_normal([1]), name='b') ?lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hps.hidden_size) ?#測試cost 1.3809outputs, states = tf.nn.dynamic_rnn(lstm_cell, X, dtype=tf.float32) ?W_repeated = tf.tile(tf.expand_dims(W, 0), [tf.shape(X)[0], 1, 1]) ?output = tf.nn.xw_plus_b(outputs, W_repeated, b) ?self._output = output = tf.squeeze(output) ?self._cost = cost = tf.reduce_mean(tf.square(output - Y)) ?self._train_op = tf.train.AdamOptimizer(hps.learning_rate).minimize(cost) ?@propertydef X(self):return self._X@propertydef Y(self):return self._Y ??@propertydef cost(self):return self._cost@propertydef output(self):return self._output@propertydef train_op(self):return self._train_op
這種方式比用函數定義模型更加方便。@property的設計使得模型用起來更加方便！?
模型的關鍵就是：?
1）. 設定BasicLSTMCell的隱藏節點個數?
2）. 調用dynamic_rnn(lstm_cell,X)來計算輸出outputs?
3）. 調用xw_plus_b將outputs計算為單個的output?
模型中各變量的維度如下：（batch_size=100, seq_size=3, hidden_size=6）?
- X定義為[None, hps.seq_size, 1]是因為dynamic_rnn的輸入針對的是二維圖像樣本的輸入，因此，必須多定義一個1的維度，傳入的實際應該為100*3*1。?
- Y的維度維持與圖像標簽輸入數據維度相同，傳入的實際應該為100*3。?
- W為6*1?
- b為1*1?
- outputs為100*3*6?
- W_repeated為100*6*1，其變化過程6*11*6*1100*6*1。?
- output在squeeze之前為100*3*1，squeeze后為100*3?
- cost為1*1
3. 訓練和測試函數train_test
def train_test(hps, data):#訓練數據準備train_data_len = len(data)*2//3train_x, train_y = [], [] ?for i in range(train_data_len - hps.seq_size - 1): ?train_x.append(np.expand_dims(data[i : i + hps.seq_size], axis=1).tolist()) ?train_y.append(data[i + 1 : i + hps.seq_size + 1].tolist()) ?#測試數據準備 ? ?test_data_len = len(data)//3test_x, test_y = [], [] ?for i in range(train_data_len,train_data_len+test_data_len - hps.seq_size - 1): ?test_x.append(np.expand_dims(data[i : i + hps.seq_size], axis=1).tolist()) ?test_y.append(data[i + 1 : i + hps.seq_size + 1].tolist()) ?with tf.Graph().as_default(), tf.Session() as sess: ?with tf.variable_scope('model',reuse=None):m_train = TS_LSTM(hps) ? ? ? ??#訓練tf.global_variables_initializer().run()for step in range(20000): ?_, train_cost = sess.run([m_train.train_op, m_train.cost],?feed_dict={m_train.X: train_x, m_train.Y: train_y}) ?#預測?test_cost, output = sess.run([m_train.cost, m_train.output],feed_dict={m_train.X: test_x, m_train.Y: test_y}) ?#print(hps, train_cost, test_cost)return train_cost, test_cost
這里的關鍵是測試用是訓練模型，我也不知道為什么好多網絡資源都將訓練模型和測試模型分離開來。測試不就是用測試數據來測試訓練模型的效果嗎？因此這里把2/3的數據劃給訓練，1/3的數據用于測試。自己動手編代碼時一定要對session.run函數用法和原理熟悉。
4. 主函數（對超參數組合的測試誤差進行比較）
def main():#讀取原始數據f=open('鐵路客運量.csv') ?df=pd.read_csv(f) ??data = np.array(df['鐵路客運量_當期值(萬人)']) ?normalized_data = (data - np.mean(data)) / np.std(data) ? ??#測試不同組合的超參數對測試誤差的影響costs =[]for seq_size in [4,6,12,16,24]:for hidden_size in [6,10,20,30]:print(seq_size, hidden_size)hps = HParams(seq_size, hidden_size, 0.003)train_cost, test_cost = train_test(hps, normalized_data)?costs.append([train_cost,test_cost])
進行了初步比較，感覺有兩個：?
1）同一個超參數，測試誤差相差挺大。?
2）不同超參數，訓練時誤差基本都很小，但是測試誤差相差很大，如何限制學習過程中的過擬合是一個很大的問題。?
可以看看我運行的訓練誤差和測試誤差的比較。代碼已放到csdn下載資源，csdn下載代碼來！
?
總結
以上是生活随笔為你收集整理的Tensorflow LSTM时间序列预测的尝试的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Java:十六进制转换成十进制
- 下一篇： go build和go install的