?PaperWeekly 原創 ·?作者｜寧曉軍

學校｜北京交通大學碩士生

研究方向｜時間序列分析與挖掘；圖神經網絡

本文介紹一篇北京交通大學網絡科學與智能系統研究所賈子鈺博士等人，于 IJCAI 2020 發表的論文《GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification》，該研究提出一種多變量時間序列分類的通用圖神經網絡框架并首次應用于睡眠階段分類。

論文標題：

GraphSleepNet: Adaptive Spatial-Temporal Graph Convolutional Networks for Sleep Stage Classification

論文鏈接：

https://www.ijcai.org/Proceedings/2020/0184.pdf

代碼鏈接：

https://github.com/ziyujia/GraphSleepNet

論文作者主頁：

https://ziyujia.github.io/

背景簡介

睡眠階段分類對睡眠質量的評估和疾病的診斷具有重要意義，睡眠專家通常根據睡眠分期標準和多導睡眠圖（polysomnography, PSG）來判定睡眠狀態。在目前的睡眠分期領域研究中，睡眠專家通常使用 R&K 睡眠分期標準和美國睡眠醫學會（AASM）制定的睡眠分期標準進行睡眠階段的識別。

特別是在 AASM 標準中還記錄了不同睡眠階段之間的轉換規則，幫助睡眠專家通過時間上下文進行睡眠分期。雖然有標準和規則提供決策支持，但是由睡眠專家人工進行睡眠分期仍然是一項繁瑣且耗時的任務，分期結果也容易受到睡眠專家主觀意識的影響。

動機

2.1 挑戰

2.1.1 網格數據的局限性

目前大多數睡眠分期模型大多使用 CNNs 和 RNNs 模型，盡管 CNNs 和 RNNs 能夠實現較高的睡眠分期準確率，但它們的局限性在于模型的輸入必須是網格數據（例如 2D 圖像表示），這導致了大腦區域之間的聯系被忽略。由于大腦區域處于非歐式空間，因此圖應當是表示大腦連接性最自然且最適合的數據結構。

2.1.2 大腦連接關系的建模

基于圖卷積神經網絡在圖結構數據中的成功應用，我們采用圖結構表示方法研究睡眠分期問題，在多導 EEG 數據中，每個 EEG 通道對應于睡眠圖中的一個節點，兩個節點之間的連接對應于睡眠圖中存在的邊。

固定的圖結構是圖卷積神經網絡中的重要輸入，也是提取空間信息的關鍵。但由于人類對人腦的認知是有限的，因此為睡眠分期預定義合適的空間腦連接結構仍然是一個挑戰。因此，論文嘗試提出一種數據驅動的大腦連接結構學習模塊與與時空圖卷積集成于統一的圖神經網絡框架。

2.1.3 睡眠過渡規則

如何利用相鄰睡眠階段之間的過渡規則也是一個挑戰。睡眠專家在進行當前睡眠階段的分期時，往往會結合其相鄰睡眠階段。因此，充分利用睡眠階段間的過渡規則往往能夠提升睡眠分期的準確率。

2.2 貢獻

據我們所知，這是首次嘗試將 ST-GCN 應用于睡眠分期領域。此外，我們提出了一種新的自適應睡眠圖學習機制，它與 ST-GCN 同時被集成在統一的深度神經網絡的架構中。

我們設計了一種基于注意力機制的時空卷積結構，它可以有效的捕獲不同睡眠階段的空間特征和睡眠階段之間的轉換規則。

在基準數據集的實驗結果表明，提出的 GraphSleepNet 優于傳統的基線方法，取得了 SOTA 的性能。

問題定義

在本研究中睡眠階段網絡被定義為無向圖 ，其中 V 表示節點集合，每個節點都對應一個通道(電極)，|V|=N 表示睡眠階段網絡中節點的個數；E 是邊的集合，表示節點之間的連接關系； 表示睡眠階段網絡 G 的鄰接矩陣。

如圖 1 所示， 是由一個 30s 的腦電信號序列 構建的，且本文所提出的模型中使用的鄰接矩陣 是通過學習得到的，而不是傳統的 GCNs 通常使用的固定的鄰接矩陣。

睡眠特征矩陣是圖形睡眠網的輸入。我們將原始信號序列定義為 ，其中 L 表示樣本數，Ts 表示每個樣本的時間序列長度 。對于每個樣本 ，我們提取不同頻帶上的差分熵（DE）特征，并定義每個樣本 的特征矩陣 ，其中 表示樣本 i 的第 n 個節點的 個特征。

本文通過時空圖卷積神經網絡對腦電信號編碼并建立其與睡眠分期之間的映射關系。睡眠分期問題定義為：給定睡眠階段網絡序列 ，對當前階段的睡眠分期 y 進行分類識別。其中 表示 在時間維度的上下文，y 表示 的睡眠階段類別標簽，Tn=2d+1 表示睡眠階段網絡的長度，其中 d∈N+ 表示時間上下文系數。

Adaptive Spatial-Temporal GCN

GraphSleepNet 的總體架構如圖 2 所示。我們總結了本文模型的三大關鍵點：

1）該模型能夠表示節點之間的功能連接關系并動態構造鄰接矩陣（腦連接網絡）；

2）該模型利用空間圖卷積和時間卷積提取睡眠腦電信號的空間特征和時間特征；

3）該模型采用時空注意機制自動捕獲更有價值的時空信息進行高精度分類。

4.1 Adaptive Sleep Graph Learning

如圖 3 所示，自適應睡眠圖學習可以動態地學習圖結構，而不是通過先驗知識或人為地構造圖（如 k 近鄰圖）。因此，基于輸入的矩陣 ，我們定義了一個非負函數 來表示節點 和 之間的連接關系。 通過具有可學習權向量 的神經網絡來實現，學習的圖結構（鄰接矩陣） 定義為：

其中，激活函數 ReLU 保證了 是非負的。softmax 對 的每一行進行規范化。權向量 通過最小化以下損失函數來更新：

這樣，節點 m 與節點 n 之間的距離越大， 越小。由于大腦連接結構不是一個完全連通的圖，我們利用上述損失函數的第二項來控制圖的稀疏性，其中 λ ≥ 0 為正則化參數。為了避免損失函數最小化而產生平凡解（即 ），我們將它作為正則項來形成最終的損失函數。

其中， 為多分類任務的原始損失函數，L 為樣本數，R 為類別數。

4.2 Spatial-Temporal Graph Convolution

時空圖卷積結合了空間圖卷積和時間卷積，用于提取時空特征。如圖 2 所示，空間圖卷積通過聚合每個睡眠階段網絡中的鄰接節點的信息來捕獲空間特征。時間卷積提取相鄰睡眠階段間的時間依賴來捕捉睡眠轉化規則，進而提升模型分類效果。

（1）Spatial Graph Convolution

我們利用基于譜圖理論的圖卷積來提取空間維度上的空間特征。對于每個待識別的睡眠階段，自適應睡眠圖學習模塊會提供一個鄰接矩陣 。我們利用圖拉普拉斯算子的切比雪夫展開來降低計算復雜度。基于 K-1 階切比雪夫多項式的切比雪夫圖卷積定義為：

其中 為卷積核， 表示圖卷積運算， 表示切比雪夫系數的向量， 表示輸入的數據， 表示拉普拉斯矩陣， 表示度數矩陣，， 是拉普拉斯矩陣的最大特征值， 是單位矩陣。 是遞歸定義的切比雪夫多項式，特別地，，。

通過使用切比雪夫多項式的近似展開，可以提取到以每個節點為中心的 0 到 K -1 階鄰居的信息。

在本次工作中，我們將上述定義推廣到具有多個特征的節點。第 l 層的輸入表示為 ， 為每個節點的通道數，當 l=1 時，。 表示第 l 層的時間維度。對于每個 ，我們使用 個卷積核進行圖卷積操作 ，其中卷積核的參數為 ，因此，每個節點都能聚合其 0~K-1 階鄰居節點的信息。

（2）Temporal Convolution

為了捕捉睡眠轉換規則，睡眠專家通常結合相鄰的睡眠階段對當前睡眠階段進行分類，我們則使用 CNN 在時間維度上進行卷積運算。具體來說，在圖卷積運算充分提取每個睡眠階段網絡的空間特征后，我們使用一個標準的 2D 卷積層來提取當前睡眠階段的時間上下文信息。第 l 層的時域卷積運算定義為：

其中 ReLU 是激活函數，Φ 表示卷積內核的參數，* 表示標準卷積操作。

4.3 Spatial-Temporal Attention

我們使用了一種時空注意力機制來捕獲睡眠階段網絡上有價值的時空信息。時空注意力機制包括空間注意力和時間注意力。

（1）Spatial Attention

在空間維度上，不同區域對睡眠階段的影響是不同的，睡眠階段是動態變化的。為了自動提取注意空間動態，我們使用了空間注意力機制，其定義如下：

其中，，，， 是模型的可訓練參數，σ 表示 sigmoid 激活函數。 表示第 l 層的輸入， 表示時間注意力矩陣，它是由當前層的輸入動態進行計算得到的 表示節點 m 和節點 n 之間的相關性。最后，使用 softmax 函數對注意力矩陣進行歸一化。模型在進行圖卷積時會結合學習的鄰接矩陣 和空間注意力矩陣 ，進而實現節點權值的動態更新。

（2）Temporal Attention

在時間維度上，相鄰的睡眠階段之間通常存在相關性，并且這種相關性在睡眠狀態變化時也會發生變化。因此，我們利用時間注意力機制來捕獲睡眠階段網絡間的動態時間信息：

其中，，，， 是可訓練參數。 表示時間注意力矩陣， 表示睡眠階段 m 與 n 之間的相關性。最后，使用 softmax 函數對注意力矩陣進行歸一化。

實驗

5.1 Datasets

我們在 Montreal Archive of Sleep Studies(MASS)-SS3 數據集上評估了我們提出的模型。MASS-SS3 數據集包含來自 62 名健康受試者（28 名男性和 34 名女性）的 PSG 記錄。每次記錄包含 20 導 EEG、2 導 EOG、3 導 EMG 和 1 導 ECG。

PSG 記錄采用 0.30-100Hz (EEG)，0.10-100Hz (EOG, ECG)，10-100Hz (EMG) 帶通濾波器進行預處理。我們從 9 個交叉頻帶中提取每個通道的 DE特征：0.5-4Hz、2-6Hz、4-8Hz、6-11Hz、8-14Hz、11-22Hz、14-31Hz、22-40Hz、31-50Hz。

5.2 Result

我們與 8 種 Baseline 方法進行了比較，結果如表 2 所示，更多的實驗設置、Baseline 介紹等請參閱我們的論文原文。

傳統的機器學習方法（SVM、RF）不能很好地學習復雜的時空特征。然而現有的深度學習模型如 CNN 和 RNN 可以直接提取空間或時間特征，因此其性能優于基于傳統機器學習的方法。

雖然 CNN 和 RNN 的精度很高，但是這些模型的輸入必須是網格數據，忽略了大腦區域之間的連接。由于大腦區域處于非歐幾里得空間，圖是表示這種聯系最合適的數據結構。GraphSleepNet 基于自適應睡眠圖結構提取時間和空間特征。因此，本文提出的 GraphSleepNet 方法優于其他基線方法。

5.3 Experimental Analysis

為了進一步研究自適應睡眠圖學習的有效性，我們設計了五個固定的鄰接矩陣與之進行比較。

圖 4 (a) 表明，自適應的鄰接矩陣在睡眠分期中獲得了最高的準確率。此外，與先驗知識相結合的鄰接矩陣（如 PLV 鄰接矩陣）取得了次優效果。由于大腦網絡不是一個完全連通的圖，所以全連通鄰接矩陣效果不好。一般情況下，鄰接矩陣對分類效果有顯著影響。本文提出的用于分類任務的自適應睡眠圖學習優于所有固定圖。

此外，我們研究了輸入睡眠階段網絡的數量（時間上下文的長度）對分類性能的影響。圖 4 (b) 顯示，隨著 的增加，分類性能有所提高， 時分類準確率最高。值得注意的是，根據 AASM 標準，睡眠專家也是根據 5 個睡眠階段來判斷當前的睡眠狀態，顯示了所提模型的實用性。另外，輸入睡眠階段網絡的數量過大會導致分類性能下降，這可能是由于信息冗余造成的。

結論

本文提出了一種新的深度圖神經網絡用于自動睡眠分期。該模型的主要優點是自適應地學習最適合 ST-GCN 的睡眠連接結構，以及該模型結合時空卷積和時空注意機制，同時捕獲睡眠數據的注意時空特征。該方法為實現睡眠自動分期提供了一種新的思路。此外，該文提出的模型是一個多變量時間序列的通用框架，未來可以應用于時間序列分類、預測等相關領域中。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的面向睡眠阶段分类的自适应时空图卷积神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。