時間序列是日常生活中最常見的數據類型之一。股票價格、銷售信息、氣候數據、能源使用，甚至個人身高體重都是可以用來定期收集的數據樣本。幾乎每個數據科學家在工作中都會遇到時間序列，能夠有效地處理這些數據是數據科學領域之中的一項非常重要的技能。

本文簡要介紹了如何從零開始使用Python中的時間序列。這包括對時間序列的簡單定義，以及對利用pandas訪問倫敦市居民智能電表所獲取數據的處理。可以點擊此處獲取本文中所使用的數據。還提供了一些我認為有用的代碼。

讓我們從基礎開始，時間序列的定義是這樣的：

時間序列是按時間的順序進行索引、排列或者繪制的數據點的集合。最常見的定義是，一個時間序列是在連續的相同間隔的時間點上取得的序列，因此它是一個離散時間數據的序列。

時間序列數據是圍繞相對確定的時間戳而組織的。因此，與隨機樣本相比，可能包含我們將要嘗試提取的一些相關信息。

加載和控制時間序列

數據集

讓我們使用一些關于能源消耗計費的數據作為例子，以kWh（每半小時）為單位，?在2011年11月至2014年2月期間，對參與英國電力網絡領導的低碳倫敦項目的倫敦居民樣本數據進行分析。我們可以從繪制一些圖表開始，最好了解一下樣本的結構和范圍，這也將允許我們尋找最終需要糾正的缺失值。

對于本文的其余部分，我們只關注DateTime和kWh兩列。

重采樣

讓我們從較簡單的重采樣技術開始。重采樣涉及到更改時間序列觀測的頻率。特征工程可能是你對重新采樣時間序列數據感興趣的一個原因。實際上，它可以用來為監督學習模型提供額外的架構或者是對學習問題的領會角度。pandas中的重采樣方法與GroupBy方法相似，因為你基本上是按照特定時間間隔進行分組的。然后指定一種方法來重新采樣。讓我們通過一些例子來把重采樣技術描述的更具體些。我們從每周的總結開始：

·data.resample（）方法將用于對DataFrame的kWh列數據重新取樣；

·“W”表示我們要按每周重新取樣；

·sum（）方法用于表示在此時間段計算kWh列的總和；

我們可以對每日的數據也這么做處理，并且可以使用groupby和mean函數進行按小時處理：

為了進一步進行重新采樣，pandas有許多內置的選項，你甚至還可以定義自己的方法。下面兩個表分別顯示了時間周期選項及其縮寫別名和一些可能用于重采樣的常用方法。

其它探索

這里還有一些你可以用于處理數據而進行的其它探索：

用Prophet建模

Facebook Prophet于2017年發布的，可用于Python，而R.Prophet是設計用于分析在不同時間間隔上顯示模式的日觀測時間序列。Prophet對于數據丟失情況和趨勢的變化具有很強的魯棒性，并且通常能夠很好地處理異常值。它還具有高級的功能，可以模擬假日在時間序列上產生的影響并執行自定義的變更點，但我將堅持使用基本規則來啟動和運行模型。我認為Prophet可能是生產快速預測結果的一個好的選擇，因為它有直觀的參數，并且可以由有良好領域知識背景的但缺乏預測模型的技術技能的人來進行調整。有關Prophet的更多信息，大家可以點擊這里查閱官方文檔。

在使用Prophet之前，我們將數據里的列重新命名為正確的格式。Date列必須稱為“ds”和要預測值的列為“y”。我們在下面的示例中使用了每日匯總的數據。

然后我們導入Prophet，創建一個模型并與數據相匹配。在Prophet中，changepoint_prior_scale參數用于控制趨勢對變化的敏感度，越高的值會更敏感，越低的值則敏感度越低。在試驗了一系列值之后，我將這個參數設置為0.10，而不是默認值0.05。

為了進行預測，我們需要創建一個稱為未來數據框（future dataframe）的東西。我們需要指定要預測的未來時間段的數量（在我們的例子中是兩個月）和預測頻率（每天）。然后我們用之前創建的Prophet模型和未來數據框進行預測。

非常簡單！未來數據框包含了未來兩個月內的預估居民使用電量。我們可以用一個圖表來進行可視化預測展示：

圖中的黑點代表了實際值，藍線則代表了預測值，而淺藍色陰影區域代表不確定性。

如下圖所示，不確定性區域隨著我們在之后的進一步變化而擴大，因為初始的不確定性隨著時間的推移而擴散和增多。

Prophet還可以允許我們輕松地對整體趨勢和組件模式進行可視化展示：

每年的模式很有趣，因為它看起來表明了居民的電量使用在秋季和冬季會增加，而在春季和夏季則會減少。直觀地說，這正是我們期望要看到的。從每周的趨勢來看，周日的使用量似乎比一周中其它時間都要多。最后，總體的趨勢表明，使用量增長了一年，然后才緩慢地下降。需要進行進一步的調查來解釋這一趨勢。在下一篇文章中，我們將嘗試找出是否與天氣有關。

LSTM（Long Short-Term Memory，長短期記憶網絡）預測

LSTM循環神經網絡具有學習長序列觀測值的前景。博客文章《了解LSTM網絡》，在以一種易于理解的方式來解釋底層復雜性方面做的非常出色。以下是一個描述LSTM內部單元體系結構的示意圖：

LSTM似乎非常適合于對時間序列的預測。讓我們再次使用一下每日匯總的數據。

LSTM對輸入數據的大小很敏感，特別是當使用Sigmoid或Tanh這兩個激活函數的時候。通常，將數據重新調整到[0，1]或[-1，1]這個范圍是一個不錯的實踐，也稱為規范化。我們可以使用scikit-learn庫中的MinMaxScaler預處理類來輕松地規范化數據集。

現在我們可以將已排好序的數據集拆分為訓練數據集和測試數據集。下面的代碼計算出了分割點的索引，并將數據拆分為多個訓練數據集，其中80%的觀測值可用于訓練模型，剩下的20%用于測試模型。

我們可以定義一個函數來創建一個新的數據集，并使用這個函數來準備用于建模的訓練數據集和測試數據集。

LSTM網絡要求輸入的數據以如下的形式提供特定的數組結構：[樣本、時間間隔、特征]。

數據目前都規范成了[樣本，特征]的形式，我們正在為每個樣本設計兩個時間間隔。可以將準備好的分別用于訓練和測試的輸入數據轉換為所期望的結構，如下所示：

就是這樣，現在已經準備好為示例設計和設置LSTM網絡了。

從下面的損失圖可以看出，該模型在訓練數據集和測試數據集上都具有可比較的表現。

在下圖中，我們看到LSTM在擬合測試數據集方面做得非常好。

聚類（Clustering）

最后，我們還可以使用示例的數據進行聚類。執行聚類有很多不同的方式，但一種方式是按結構層次來形成聚類。你可以通過兩種方式形成一個層次結構：從頂部開始來拆分，或從底部開始來合并。我決定先看看后者。

讓我們從數據開始，只需簡單地導入原始數據，并為某年中的某日和某日中的某一小時添加兩列。

?

Linkage和Dendrograms

linkage函數根據對象的相似性，將距離信息和對象對分組放入聚類中。這些新形成的聚類隨后相互連接，以創建更大的聚類。這個過程將會進行迭代，直到在原始數據集中的所有對象在層次樹中都連接在了一起。

對數據進行聚類：

完成了！！！這難道不是很簡單嗎？

當然很簡單了，但是上面代碼中的“ward”在那里意味著什么呢？這實際上是如何執行的？正如scipy linkage文檔上告訴我們的那樣，“ward”是可以用來計算新形成的聚類之間距離的一個方法。關鍵字“ward”讓linkage函數使用Ward方差最小化算法。其它常見的linkage方法，如single、complete、average，還有不同的距離度量標準，如euclidean、manhattan、hamming、cosine，如果你想玩玩的話也可以使用一下。

現在讓我們來看看這個稱為dendogram的分層聚類圖。dendogram圖是聚類的層次圖，其中那些條形的長度表示到下一個聚類中心的距離。

如果這是你第一次看到dendrogram圖，那看起來挺復雜的，但是別擔心，讓我們把它分解來看：

·在x軸上可以看到一些標簽，如果你沒有指定任何其它內容，那么這些標簽就是X上樣本的索引；

·在y軸上，你可以看到那些距離長度（在我們的例子中是ward方法）；

·水平線是聚類的合并；

·那些垂線告訴你哪些聚類或者標簽是合并的一部分，從而形成了新的聚類；

·水平線的高度是用來表示需要被“橋接”以形成新聚類的距離；

即使有解釋說明，之前的dendogram圖看起來仍然不明顯。我們可以減少一點，以便能更好地查看數據。

建議查找聚類文檔以便能了解更多內容，并嘗試使用不同的參數。

?

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的用Python玩转时序数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。