文章目錄

• Abstract
• 1 Introduction
• 3 Data-driven motivation for Decagon approach
• 4 Graph convolutional Decagon approach
• • • 4.1 Graph convolutional encoder
    • 4.2 Tensor factorization decoder
    • 4.3 Decagon model training
• 5 Experimental setup
• 6 Results
• • • 6.1 Prediction of polypharmacy side effects
    • 6.2 Investigation of Decagon’s novel predictions
    • 6.3 Exploration of Decagon’s side effect embeddings
• 7 Related work
• • • 7.1 Drug combination modeling
    • 7.2 Neural networks on graphs
• 8 Conclusion

Abstract

• Motivation:
  通常使用藥物組合（稱為多藥）來治療患有復雜疾病或并存疾病的患者。 但是，多藥的主要后果是對患者產生不利副作用的風險要高得多。 多藥副作用是由于藥物之間的相互作用而產生的，如果與另一種藥物合用，一種藥物的活性可能會有利地或不利地發生變化。 藥物相互作用的知識通常是有限的，因為這些復雜的關系很少見，并且通常在相對較小的臨床測試中就沒有觀察到，因此發現多藥副作用仍然是一項重要的挑戰，對患者的死亡率和發病率具有重大影響。
• Results:
  在這里，我們介紹了Decagon，一種用于建模多藥副作用的方法。 該方法構建了蛋白質-蛋白質相互作用，藥物-蛋白質靶相互作用和多藥副作用(藥物-藥物)的多峰圖，多藥副作用表示為藥物-藥物相互作用，其中每種副作用都是不同類型的邊。 Decagon是專門為處理具有大量邊類型的這種多峰圖而開發的。我們的方法開發了一種新的圖卷積神經網絡，用于多模態網絡中的多關系鏈接預測。 與僅限于預測簡單藥物-藥物相互作用值的方法不同，Decagon可以預測給定藥物組合在臨床上通過其表現出的確切副作用（如果有）。 Decagon可以準確預測多藥的副作用，其性能比基線高出69％。 我們發現它會自動學習患者中多藥同時出現的副作用表示。 此外，Decagon可以很好地模擬具有強大分子基礎的多藥副作用，而在主要是非分子的副作用方面，由于可以跨邊的類型有效共享模型參數，因此可以實現良好的性能。Decagon開啟了使用大量藥物基因組學和患者群體數據來標記和確定多藥副作用的機會，以便通過正式藥理學研究進行后續分析。

1 Introduction

大多數人類疾病是由對任何一種藥物的活性都有抵抗力的復雜生物過程引起的 (Jia et al., 2009; Han et al.,2017)。對抗疾病的一種有前途的策略是多藥療法，這是一種組合療法，涉及同時使用多種藥物，也稱為藥物組合(Bansal et al., 2014)。藥物組合由多種藥物組成，每種藥物通常已在患者群體中用作單一有效藥物。由于藥物組合中的藥物可以調節不同蛋白質的活性，因此藥物組合可以通過克服潛在生物學過程中的冗余來提高治療效果(Sun et al., 2015)。例如，最近顯示了Venetoclax和Idasanutlin的藥物組合在治療急性髓細胞性白血病方面具有優異的抗白血病作用(Pan et al., 2017)。在這里，這兩種藥物互為作用：Venetoclax抑制抗凋亡的Bcl-2家族蛋白，而Idasanutlin激活p53途徑，因此，這兩種藥物的組合通過同時靶向互補機制來提高生存率(Pan et al., 2017)。

雖然使用多種藥物可能是治療許多疾病的良好實踐，但對患者而言，多藥的主要后果是由于藥物相互作用引起的副作用風險要高得多。多藥副作用很難手動識別，因為它們很少見，幾乎不可能測試所有可能的藥物對，而且通常在相對較小的臨床測試中未觀察到副作用 (Bansal et al., 2014; Tatonetti et al.,2012)。此外，在醫療保健系統中，多藥業被認為是一個日益嚴重的問題，影響了近15％的美國人口(Kantor et al., 2015)，在美國，每年花費在治療多藥業副作用上的費用超過1770億美元(Ernst and Grizzle, 2001)。

可以進行體外實驗和臨床試驗來鑒定藥物相互作用(Li et al., 2016; Ryall and Tan, 2015)，但是對藥物相互作用候選物進行系統的組合篩選仍然具有挑戰性且昂貴(Bansal et al., 2014)。因此，研究人員試圖從科學文獻和電子病歷中收集藥物之間的相互作用 (Percha et al., 2012; Vilar et al., 2017)，并通過網絡建模，分子靶標分析(Chen et al., 2016a; Huang et al., 2014b; Lewis et al., 2015; Sun et al.,2015; Takeda et al., 2017)，基于統計關聯的模型和半監督學習來發現它們(Chen et al., 2016b; Huang et al., 2014a; Shi et al., 2017; Zhao et al., 2011) (請參見第7節中的相關工作)。盡管這些方法對于推導在細胞水平上描述藥物相互作用的廣泛規則很有用，但它們不能直接指導藥物組合治療的策略。特別是，這些方法通過代表相互作用總體概率/強度的得分來表征藥物-藥物相互作用，但不能預測副作用的確切類型。更準確地說，對于藥物$i$和$j$，這些方法預測它們的組合是否會在沒有相互作用的情況下超出預期之外的加性反應(additive response)，并產生超出預期的夸張的反應(exaggerated response)$S_{ij}$，而與確切的副作用類型或副作用數量無關。也就是說，他們的目標是回答一個問題：$S_{ij}=\{\}$(論文中不等號上面有個?, 不知道怎么弄出來)，其中$S_{ij}$是所有多藥房副作用的集合，這些副作用專門歸因于藥物對$i$和$j$，而不是單獨歸因于任何一種藥物。但是，回答藥物對$i$和$j$是否會與$r$($r\in S_{ij}$)型給定的副作用相互作用更為重要和有用。 盡管確定精確的多藥副作用對于改善患者護理(patient care)至關重要，但這仍然是一項艱巨的任務，尚沒有通過預測模型進行研究。

3 Data-driven motivation for Decagon approach

在這里，我們對雙層多峰圖的結構（圖1）進行了三項觀察，這些觀察對Decagon模型的設計具有重要意義。

首先，我們觀察到藥物組合中某些副作用發生的頻率范圍很廣。我們發現，已知> 53％的多藥副作用是在<3％的已記錄藥物組合中發生的（例如 cerebral artery embolism, lung abscess, sarcoma and collagen disorder）。相反，更頻繁的副作用（例如vomiting, weight gain, nausea and anaemia）出現更高的一個數量級。由于每種副作用與之相關的藥物對數量變化很大，因此只有有限數量的藥物對可用于獨立訓練模型以預測不同的副作用類型。結果，多藥副作用預測成為一項具有挑戰性的任務，尤其是在預測罕見的副作用時。因此，重要的是開發一種端到端的方法，以使模型能夠共享信息并同時從所有副作用中學習。

其次，我們觀察到在co-prescribed藥物對（即藥物組合）中，多藥房副作用不會彼此獨立出現，這表明對多種副作用進行聯合建模可以幫助完成預測任務。為了量化副作用之間的同時出現，我們統計了給定副作用與其他副作用同時出現的藥物組合的數量，然后對隨機同時出現的空模型使用置換測試。如表1中針對高血壓和惡心的示例所示，我們發現，在$\alpha$ = 0.05的藥物組合中它們與副作用惡心/高血壓同時出現而言，大多數最常見的副作用要么明顯偏高，要么代表性偏低。該觀察結果表明，可能存在共享的副作用病理生理機制，類似于疾病合并癥中所觀察到的機制（(Lee et al., 2008）。例如，我們發現高血壓與焦慮癥同時出現的發生率很高，但發燒的發生率要低于隨機機會所指示的發生率（表1）。這些關系貫穿副作用數據集。我們得出的結論是，預測模型應利用副作用之間的依賴性，并能夠重用所學習到的有關一種副作用的分子基礎的信息，以更好地了解另一種副作用的分子基礎。

第三，我們探討了藥物對靶向的蛋白質與副作用發生之間的關系。令$T_i$代表與藥物i相關的一組靶蛋白，然后我們計算給定藥物對（i，j）的靶蛋白之間的Jaccard相似性。我們觀察到以下幾點：

藥物組合的68％以上具有共同零種靶蛋白，這表明它是用蛋白質 - 蛋白質相互作用的信息重要“連接”由不同的藥物靶向不同的蛋白質。這表明使用蛋白質間相互作用信息來“連接”不同藥物靶向的不同蛋白質非常重要。

P-value = 5e - 120, 2-sample Kolmogorov-Smirnov(KS)檢驗顯示，隨機藥物對在靶向蛋白質中的重疊程度要比co-prescribed drugs（(Fig. 2，淺灰色）小。

我們發現這種趨勢在不同的副作用中觀察不到。 例如，與目標蛋白共享的藥物組合中的high blood pressure比rib fracture更明顯（(Fig. 2，紫色）。每次2-sample KS試驗，出現超過150種副作用的組合與其他真正的藥物組合有顯著差異（在Bonferroni校正后，$\alpha$ = 0.05），表明這些副作用具有很強的分子基礎。基于此發現，我們得出結論，對于模型而言，考慮蛋白質之間如何相互作用以及能夠對（間接）相互作用的較長鏈進行建模非常重要。

4 Graph convolutional Decagon approach

我們將多藥副作用建模作為編碼藥物，蛋白質和副作用關系的多峰圖上的多關系鏈接預測問題(圖1)。更精確地，這些關系由具有$N$個節點(例如 蛋白質, 藥物)$v_i\in \mathcal{V}$和標記的邊(關系)$\left(v_i,r,v_j\right)$的圖$G=(\mathcal{V},\mathcal{R})$表示，其中$r$是邊類型(關系類型):

兩種蛋白質之間的物理結合

藥物和蛋白質之間的靶(target)關系

兩種藥物之間特定類型的副作用

如第2節所述，我們考慮了964種藥物之間的不同關系類型(即副作用)。

此外，我們允許以附加節點特征( additional node feature)的形式包含輔助信息。不同的節點（藥物，蛋白質）可以具有不同數量的節點特征，這由分配給圖中每個節點的實值特征向量(real-valued feature vectors)${\mathbf{X}}_1,{\mathbf{X}}_2,\dots ,{\mathbf{X}}_N$給出。

多藥副作用預測任務:多藥副作用預測任務考慮了識別藥物對和副作用之間關聯的問題。重要的是，這些關聯僅限于不能單獨歸因于任何一種藥物的關聯。使用圖形G，任務是預測藥物節點之間的標記邊。給定一個藥物對$\left(v_i,v_j\right)$，我們的目標是確定類型$r$的邊$e_{ij}=\left(v_i,r,v_j\right)$屬于$R$的可能性，這就意味著藥物$v_i$和$v_j$[即,藥物組合的使用$\left(v_i,v_j\right)$]同時使用與人類患者群體(human patient population)中多藥副作用$r$有關。

為此，我們開發了直接在圖$G$上運行的非線性多層卷積圖神經網絡模型Decagon。Decagon具有兩個主要組件：

• 編碼器 : 在$G$上運行并為$G$中的節點生成嵌入的圖卷積網絡(圖3A; 第4.1節)。
• 解碼器 : 使用這些嵌入的張量分解模型來建模多藥副作用(圖3B; 第4.2節)。

我們通過描述Decagon（我們的多藥副作用建模方法）進行說明。

4.1 Graph convolutional encoder

我們首先描述圖編碼器模型，該模型以圖$G$和附加節點特征向量(附加節點特征向量)${\mathbf{x}}_i$為輸入，并為圖中的每個節點（藥物，蛋白質）產生一個節點$d$維嵌入${\mathbf{z}}_i\in {\mathbb{R}}^d$。

我們提出了一種編碼器模型，該模型可以有效利用圖中各個區域之間的信息共享，并為每種關系類型分配單獨的處理通道。這個想法是Decagon學習如何在整個圖上轉換和傳播由節點特征向量捕獲的信息。每個節點的網絡鄰域都定義了不同的神經網絡信息傳播體系結構，但是這些體系結構隨后共享定義了如何共享和傳播信息的功能/參數。我們學習卷積運算符，它們在圖的不同部分和不同的關系類型之間傳播和轉換信息。 該模型的靈感來自最近一類直接在圖上運行的卷積神經網絡(Defferrard et al., 2016; Kipf and Welling, 2016)。對于給定的節點，Decagon對其鄰居的特征向量執行變換/聚合操作。然后，對這些操作的連續應用將有效地將信息卷積（即, 節點的嵌入取決于距離$K$最多不超過$K$步的所有節點）在第$K$階鄰域中，其中$K$是神經網絡模型中卷積層的連續操作數。

在每一層中，Decagon在考慮邊緣的類型（關系）的同時，在圖的邊緣之間傳播潛在節點特征信息(Schlichtkrull et al., 2017)。此神經網絡模型的單層采用以下形式：
$${\mathbf{h}}_i^{(k+1)}=??\sum _r\sum _{j\in {\mathcal{N}}_r^i}{c}_r^{ij}{\mathbf{W}}_r^{(k)}{\mathbf{h}}_j^{(k)}+c_r^i{\mathbf{h}}_i^{(k)}?$$其中h是神經網絡第$k$層中節點$v_i$的隱藏狀態，其中$d^{(k)}$是該層表示的維數，$r$是關系類型，矩陣${\mathbf{W}}_r^{(k)}$是關系類型特定的參數矩陣。$?$表示非線性元素激活函數[即, 線性校正單元(a rectified linear unit)]，它轉換要在神經模型層中使用的表示形式，$c_r^{ij}$和$c_r^i$是歸一化常數，我們選擇為對稱$c_r^{ij}=1/\sqrt{|}{\mathcal{N}}_r^i\Vert {\mathcal{N}}_r^j|$和$c_r^i=1/\left|{\mathcal{N}}_r^i\right|$其中${\mathcal{N}}_r^i$表示關系$r$下節點$v_i$的鄰居集合。重要地注意，等式(1)中的和僅在給定節點$i$的鄰居${\mathcal{N}}_r^i$的范圍內，因此每個節點的計算架構（即神經網絡）是不同的。圖3A顯示了圖1中節點$C$的每層卷積更新方程式(1)的示例。并且，圖3C然后說明了不同的節點具有不同的神經網絡結構(因為每個節點的網絡鄰域都不同)。

通過將這些層(圖3A)的多個(即$K$)與適當的激活功能鏈接在一起，可以構建更深層次的模型。為了到達節點vi的最終嵌入${\mathbf{z}}_i\in {\mathbb{R}}^d$，我們將其表示計算為：${\mathbf{z}}_i={\mathbf{h}}_i^{(K)}$。然后，整個編碼器采用以下形式。我們按照等式（1）堆疊K層，以便上一層的輸出成為下一層的輸入。第一層的輸入是節點特征向量${\mathbf{h}}_i^{(0)}={\mathbf{x}}_i$，或者如果圖中沒有任何特征，則為圖中的每個節點提供唯一的one-hot向量。

4.2 Tensor factorization decoder

到目前為止，我們介紹了Decagon的編碼器。 編碼器將每個節點$v_i\in \mathcal{V}$映射到一個嵌入的實值向量表示${\mathbf{z}}_i\in {\mathbb{R}}^d$，其中d是節點表示的維數。 我們先描述Decagon的解碼器組件。

解碼器的目標是通過依賴于學習到的節點嵌入并通過不同地對待每個標簽（邊緣類型）來重建$G$中的標記邊。具體而言，解碼器通過函數$g\left(v_i,r,v_j\right)$評分$\left(v_i,r,v_j\right)$-三元組，該函數$g$的目標是分配一個得分$g$，該得分$g$表示藥物$v_i$和$v_j$通過關系/副作用類型r交互的可能性(圖3B)。通過使用Decagon編碼器(第4.1節)${\mathbf{z}}_i$和${\mathbf{z}}_j$返回的節點$i$和$j$的嵌入，解碼器通過分解操作預測候選邊$\left(v_i,r,v_j\right)$：
$$g\left(v_i,r,v_j\right)=?\begin{array}{cl}{\mathbf{z}}_i^T{\mathbf{D}}_r\mathbf{R}{\mathbf{D}}_r{\mathbf{z}}_j& \text{?if?}{v}_i\text{?and?}{v}_j\text{?are?drugs?}\\ {\mathbf{z}}_i^T{\mathbf{M}}_r{\mathbf{z}}_j& \text{?if?}{v}_i\text{?and?}{v}_j\text{?are?both?proteins,?or?}\\ & v_i\text{?and?}{v}_j\text{?are?a?protein?and?a?drug?}\end{array}$$然后應用sigmoid型函數$\sigma$計算邊$\left(v_i,r,v_j\right)$的可能性：
$$p_r^{ij}=p\left(\left(v_i,r,v_i\right)\in \mathcal{R}\right)=\sigma \left(g\left(v_i,r,v_i\right)\right)$$接下來，我們通過區分以下兩種情況來說明Decagon的解碼器：

當$v_i$和$v_j$是藥物節點時，公式(2)中的解碼器$g$假設藥物-藥物相互作用的全局(global)模型（即$\mathbf{R}$），其在多藥副作用中的變化和重要性由副作用有特的對角因子(即${\mathbf{D}}_r$ )所描述。在此，$R$是形狀為$d\times d$的可訓練參數矩陣，R模擬了跨所有可能的多藥副作用的全局藥物相互作用。另外，在Decagon中，代表不同多藥副作用的每個關系$r$與$d\times d的$對角矩陣${\mathbf{D}}_r$ 相關聯，該矩陣模擬(modeling)${\mathbf{z}}_i$中每個維度對副作用$r$的重要性。在另一種觀點中，該解碼器可以被認為是三向張量(three-way tensor)的張量分解，其中兩種模式由藥物相同地形成，而第三種模式則保持藥物組合的多藥副作用。但是，Decagon的一個顯著特征是對編碼器的依賴。傳統的張量分解使用直接在訓練中優化的節點表示，而我們以端到端的方式計算它們，其中節點嵌入與張量分解一起被優化。

當$v_i$和$v_j$不都是藥物節點時，等式(2)中的解碼器g采用雙線性形式對節點嵌入中的邊進行解碼。更確切地說，在那種情況下，解碼函數$g$與形狀為$d\times d$的可訓練參數矩陣${\mathbf{M}}_r$關聯，該模型對${\mathbf{z}}_i$和${\mathbf{z}}_j$中每兩個維度之間的交互進行建模。然后，使用雙線性形式（等式2）計算預測的邊的概率，然后應用sigmoid型函數（等式3）。

由于以下兩個原因，基于等式(2)中的節點類型使用不同的邊的解碼器至關重要:

• 首先，Decagon解碼器可以看作是不同關系類型之間有效參數共享的一種形式。特別是，涉及藥物對的關系類型使用相同的全局藥物-藥物相互作用模型（即矩陣R），其中包含適用于所有與藥物相關的關系類型的模式。我們期望這種解碼參數化可以減輕罕見副作用上的過度擬合，因為參數在罕見[例如，脊髓炎或鼻息肉(myringitis or nasal polyps)]和頻繁[例如，低血壓或貧血(hypotension or anaemia)]副作用之間共享。
• 其次，我們希望一個高分$g\left(v_i,r,v_j\right)$表示藥物組合$\left(v_i,v_j\right)$與不能單獨歸因于$v_i$或$v_j$的副作用r之間的關聯。因此，要捕獲多藥的組合，至關重要的是，Decagon允許通過R在$i$和$j$的嵌入中任意兩個維度之間進行非零交互(non-zero interaction)。

兩者合計，Decagon模型的可訓練參數為：

關系類型特定的神經網絡權重矩陣${\mathbf{W}}_r$

關系類型特定的參數矩陣${\mathbf{M}}_r$

全局副作用參數矩陣$R$

副作用特定的對角參數矩陣${\mathbf{D}}_r$

因此，Decagon編碼器和解碼器形成了用于多峰圖中的多關系鏈接預測的端到端可訓練模型（圖3）。接下來，我們將描述如何訓練Decagon方法。 特別是，我們解釋了如何使用端到端學習技術來訓練神經網絡權重和交互參數矩陣。

4.3 Decagon model training

在模型訓練期間，我們使用交叉熵損失(cross-entropy loss)來優化模型參數：
$$J_r\left(i,j\right)=?\log P_r^{ij}?E_{n～p_{r}ij}\log (1?P_r^{in})$$

促進模型為觀察到的邊$\left(v_i,r,v_j\right)$分配比隨機非邊更高的概率。與以前的研究一樣(Mikolov et al., 2013; Trouillon et al., 2016)，我們通過負采樣來估計模型。 對于圖中的每種藥物-藥物的邊$\left(v_i,r,v_j\right)$(即陽性示例)，我們通過隨機選擇節點$v_n$來抽樣隨機的邊$\left(v_i,r,v_n\right)$(即陰性示例)。這是通過將邊$\left(v_i,r,v_j\right)$中的節點$v_j$替換為根據抽樣分布$P_r$(Mikolovet al., 2013)隨機選擇的節點$v_n$來實現的。考慮所有的邊，Decagon中的最終損失函數為：
$$J=\sum _{\left(v_i,r,v_j\right)\in \mathcal{R}}{J}_r(i,j)$$
最近的結果表明，通過端到端學習通常可以顯著改善對圖結構數據的建模(Defferrardet al., 2016; Gilmer et al., 2017)，因此，我們采用端到端優化方法，對所有可訓練參數共同進行優化，并通過Decagon的編碼器和解碼器傳播損失函數梯度(loss function gradients)。

為了優化模型，我們使用Adam優化器以0.001的學習率對模型進行最多100個epoch的訓練（訓練迭代），并以2的窗口大小提前停止訓練；即，如果驗證損失在兩個時間內都沒有減少，我們將停止訓練連續的epoch。我們使用Glorot和Bengio（2010）中描述的初始化來初始化權重，并相應地標準化節點特征向量。 為了使模型能夠很好地泛化到未觀察到的邊，我們對隱藏層單元應用了regular dropout（公式1）。在實踐中，我們使用有效的稀疏矩陣乘法（其復雜度與G的邊數成線性關系）來實現Decagon模型。

我們通過對方程（5）中損失函數的貢獻進行采樣來使用小批(mini-batching)處理。 也就是說，我們處理多個訓練小批處理，每個訓練小批處理都是通過從等式（5）中的邊沿總和中僅采樣固定數量的貢獻而獲得的，從而產生了一批動態的計算圖（圖3C）。通過僅考慮對損失函數的固定數量的貢獻，我們可以刪除當前小批中未出現的各個數據點。這是一種有效的正則化方法，并減少了訓練模型所需的內存，這是必需的，以便我們可以將完整的模型裝入GPU內存（所有數據和代碼均在項目網站上發布）。

5 Experimental setup

我們認為，預測多藥副作用是解決多關系鏈接預測任務的問題。在此，每個藥物對通過一組所有關系類型（即所有副作用類型，請參見第2節和圖1）中的零個，一個或多個關系類型（即副作用類型）進行連接。

對于每種多藥副作用類型，我們將與該副作用相關的藥物對分為訓練，驗證和測試集，以確保驗證和測試集各包含10％的藥物對。對于每種副作用類型，我們使用80％的藥物對訓練模型，并使用10％的藥物對選擇模型參數。然后，任務是預測與每種副作用類型相關的藥物對。 請注意，我們非常謹慎，因為折疊之間存在信息泄漏，并且交叉驗證是公平的。

我們應用Decagon，它針對每種藥物對和每種副作用類型計算給定藥物對與給定副作用相關的概率。另外，我們以藥物節點$i$的附加特征${\mathbf{x}}_i$的形式將副作用（即個別藥物的副作用）（第2節）整合到模型中。為了避免評估中出現任何圓度和信息泄漏，我們確保：

• 我們預測的副作用是真正的多藥副作用（即，給定的多藥副作用僅與該藥對相關，而與該藥對中的任何單個藥物無關）
• 副作用中沒有我們預測的副作用類型。例如，惡心(nausea)是一種多藥副作用，因此我們刪除了所有惡心作為個別藥物的副作用的情況。我們注意到這是一種保守的方法，它使我們能夠可靠地估計預測性能。

我們尚不知道開發任何其他方法來預測藥物對的副作用。因此，我們針對以下多關系鏈接預測方法評估了Decagon的性能：

• RESCAL tensor decomposition (Nickel et al., 2011):
• DEDICOM tensor decomposition (Papalexakis et al., 2017):
• DeepWalk neural embeddings (Perozzi et al., 2014; Zong et al.,2017):
• Concatenated drug features:

使用驗證集對候選參數值進行網格搜索來確定每種方法的參數設置（例如，對于梯度增強樹，使用的樹數從10到100不等）。如果方法不是多關系鏈接預測方法，則針對每種副作用類型，我們分別在驗證集上選擇性能最佳的參數。具體而言，Decagon使用2層神經體系結構，其中$d$(1) = 64，每層$d$(2) = 32個隱藏單元，所有實驗中的dropout rate為0.1，最小批量(minibatch)為512。

使用受試者工作特征下的面積 (AUROC)，準確召回率曲線下的面積 (AUPRC)和50的平均精度(AP@50)分別計算每種副作用類型的性能。 較高的值始終表示性能更好。

6 Results

Decagon在多峰圖和高度多關系的環境中運行。 這種靈活性使Decagon特別適合預測藥物對的副作用，這將在下面討論。

6.1 Prediction of polypharmacy side effects

這些發現與結果相吻合，即通過端到端學習，特別是使用圖形自動編碼器，通常可以顯著改善預測 (Hamilton et al., 2017a, b; Kipf and Welling, 2016)。特別是，張量分解(tensor decomposition)和神經嵌入基線(neural embedding baseline )方法使我們能夠量化由于嵌入（例如Decagon的編碼器）而導致的性能提升的百分比，以及由于多任務學習（即Decagon的解碼器）而導致的性能提升的百分比。

為了更好地了解Decagon的性能，我們按副作用類型對表2中的匯總統計數據進行了分層。手動檢查結果并與領域專家進行討論，揭示了表3中表現最佳的副作用的共同屬性。我們觀察到，Decagon模型具有明顯的分子基礎，因此副作用特別好。該觀察結果符合我們的預期，因為Decagon的多峰圖（圖1）主要包含藥物基因組信息。我們還觀察到，性能最差的副作用往往是常見的副作用和/或具有潛在的重要環境和行為成分的非分子起源（表3）。Decagon在這些副作用上的競爭表現可以通過在不同類型的副作用之間有效共享模型參數來解釋。

6.2 Investigation of Decagon’s novel predictions

接下來，我們對新匹配進行基于文獻的評估。 我們的目標是評估新穎的Decagon關于副作用與藥物對之間關系的預測的質量。為此，我們要求Decagon對數據集中的每種藥物對和每種副作用類型進行預測。然后，我們使用這些預測來構建（藥物$i$，副作用類型$r$，藥物$j$）三元組的排名列表，其中，三元組通過預測的概率得分$p_r^{ij}$進行排名（公式3）。然后，我們從排名列表中排除藥物對與副作用之間的所有已知關聯，然后調查列表中排名最高的10個預測。為了防止調查偏見的風險，我們不允許在分析的不同階段之間發生任何串擾。 然后，我們搜索生物醫學文獻，以查看是否可以找到這些新穎預測的佐證證據。

表4顯示了Decagon的預測以及支持這些預測的文獻證據。我們能夠從10個排名最高的預測副作用中找到5個的文獻證據。也就是說，對于這些排名最高的預測，我們的方法都可以正確識別藥物對以及副作用類型。該結果是驚人的，因為預測是特定的，并且通過藥物對和副作用關聯的隨機選擇很難找到支持證據。我們注意到，引用的文獻明確調查了預期的藥物對和預期的副作用之間的相互作用。例如，Decagon表示使用阿托伐他汀(Atorvastatin)和氨氯地平可(Amlodipine)導致肌肉發炎(muscle inflammation)(表4，排名第8的最高預測)。實際上，最近的報道(e.g. Banakh et al., 2017)發現，由于阿托伐他汀(Atorvastatin)與氨氯地平(Amlodipine)的藥物相互作用可能導致肌肉組織損傷。Decagon還標記了乙胺嘧啶(Pyrimethamine)(一種單獨使用可有效治療瘧疾(malaria)的抗微生物藥)與一種腎素抑制劑阿里斯基倫(Aliskiren)之間的潛在聯系，阿里斯基倫(Aliskiren)的臨床試驗在發現腎臟并發癥后被終止(Parving et al., 2012)，則表明會罹患癌癥的風險增加（排名第一的預測）。此處的分析證明了Decagon的預言可能有助于翻譯科學和發現新型（非）有效藥物組合。

6.3 Exploration of Decagon’s side effect embeddings

最后，我們有興趣了解Decagon是否滿足第3節中提出的設計目標。特別是，我們通過探索性數據分析（第3節中的第二個觀察結果）測試了Decagon是否可以捕獲不同副作用類型的相互依賴性。為此，我們采用對角矩陣${\mathbf{D}}_r$，該矩陣專門模擬了Decagon的多關系鏈接預測中每種副作用類型$r$相互作用的重要性（第4.2節）。我們從每個${\mathbf{D}}_r$中提取對角線，并將其用作副作用$r$的矢量表示。 我們使用t-SNE將這些向量表示嵌入到2D空間中(Maaten and Hinton, 2008)，然后在圖4中進行可視化。

圖4揭示了副作用表示中的聚類結構。查看該圖，我們觀察到在2D空間中緊密嵌入在一起的副作用往往會在藥物組合中同時發生。該觀察結果表明，Decagon推斷出在許多藥物組合中共同出現的副作用$r_1$和$r_2$相似的矩陣$D_{r1}$和$D_{r2}$。例如，經常與子宮息肉副(uterine polyp)作用一起出現的前三個副作用是：

7 Related work

我們回顧了有關藥物組合的計算預測以及有關圖結構數據的神經網絡的相關研究。

7.1 Drug combination modeling

計算藥理學的方法旨在發現藥物與分子靶之間的聯系，預測潛在的不良藥物反應并發現現有藥物的新用途。(Campillos et al., 2008;Hodos et al., 2016; Li et al., 2016). 與這些方法主要考慮的個別藥物和單一藥物療法（即單一療法）相比，我們考慮藥物組合（即多藥）。這很重要，因為多藥是對抗復雜疾病的有用策略 (Han et al., 2017; Jia et al., 2009), 對醫療保健系統具有重要意義(Ernst and Grizzle, 2001)。

傳統上，已經通過實驗篩選出一組預先定義的所有可能的藥物組合來確定有效的藥物組合(Chen et al., 2016b)。鑒于藥物數量眾多，藥物成對組合的實驗篩選在成本和時間方面構成了巨大的挑戰。例如，給定n種藥物，有$n(n?1)/2$個成對藥物組合和許多更高階的組合。為了解決候選藥物組合的組合爆炸問題，開發了計算方法來識別可能相互作用的藥物對，即產生超出或超出在沒有相互作用時預期的加和反應之外的過度反應的藥物對 (Ryall and Tan, 2015)。該領域先前的研究集中在通過協同作用和拮抗作用的概念來定義藥物相互作用(Lewis et al., 2015; Loewe, 1953)，定量測量劑量效應曲線(Bansal et al., 2014;Takeda et al., 2017) ，并根據測量細胞活力的實驗確定給定的藥物對是否相互作用(Chen et al., 2016a, b; Huang et al., 2014a, b; Shi et al., 2017; Sun et al., 2015; Zitnik and Zupan, 2016)。所有這些方法都將藥物-藥物相互作用預測為標量值，該標量值表示給定藥物對相互作用的總體概率/強度。與之形成鮮明對比的是，我們在這里的研究更進一步，確定了給定藥物對在患者群體中臨床表現的精確度（如果有的話）。特別是，我們對不能歸因于任何一種藥物而由于藥物相互作用（即多藥副作用）產生的臨床表現進行建模。先前的研究著重于生成代表細胞活力或實驗藥物篩選中密切相關的結果的逐點交互作用估計，但我們首次預測，當患者將多種藥物合在一起時，如果有的話，多藥副作用可能會發生 ，為臨床翻譯提供了更直接的途徑。

盡管目前的藥物相互作用預測方法不能直接用于此處研究的問題，但我們簡要概述了這些方法所使用的方法。 藥物相互作用預測方法可分為基于分類的方法和基于相似性的方法。基于分類的方法將藥物相互作用的預測視為二分類問題(Chen et al., 2016b; Cheng and Zhao,2014; Huang et al., 2014a; Shi et al., 2017; Zitnik and Zupan, 2016)。這些方法使用已知的相互作用藥物對作為陽性實例，將其他藥物對用作陰性實例，并訓練分類模型，例如樸素貝葉斯(naive Bayes)，邏輯回歸(logistic regression)和支持向量機(support vector machine)。相反，基于相似性的方法假設相似的藥物可能具有相似的相互作用模式(Gottlieb et al., 2012; Huang et al., 2014b; Li et al., 2016, 2017; Sun et al., 2015; Vilar et al., 2012; Zitnik and Zupan, 2015)。這些方法使用了針對藥物化學亞結構，相互作用譜指紋，藥物副作用，副作用和分子靶連通性定義的不同種類的藥物-藥物相似性度量。這些方法通過聚類或標簽傳播來匯總相似性度量，以識別潛在的藥物相互作用 (Ferdousi et al., 2017; Zhang et al.,2015, 2017)。但是，所有這些方法均會產生藥物相互作用，并且無法預測確切的多藥副作用，這是我們此處研究的目標。

7.2 Neural networks on graphs

我們的模型擴展了圖神經網絡領域的現有工作(Defferrard et al., 2016; Gilmer et al., 2017; Hamilton et al.,2017a, b; Kipf and Welling, 2016; Schlichtkrull et al., 2017)。圖神經網絡通過將通常應用于圖像數據集的卷積運算概念推廣到可以對任意圖進行運算的運算，從而可以學習圖結構。這些神經網絡也可以看作是一種嵌入方法，可以將有關每個節點鄰域的高維信息提取為密集的矢量嵌入，而無需進行人工特征工程。 特別地，圖卷積網絡(Defferrard et al., 2016; Hamilton et al., 2017a; Kipf and Welling, 2016) 和消息傳遞神經網絡(Gilmer et al., 2017)是相關的研究領域，允許逐層學習圖中的節點嵌入。

盡管圖卷積網絡在社交網絡和知識圖中的重要預測問題上實現了最先進的性能，但它們尚未用于計算生物學中的問題。 我們的模型通過合并對多種邊類型的支持來擴展圖卷積網絡，每種類型代表不同的副作用，并通過為具有大量邊類型的多峰圖提供有效的權重共享形式。

8 Conclusion

我們介紹了Decagon，一種預測藥物對副作用的方法。 Decagon是一種通用的圖卷積神經網絡，設計用于在大型多峰圖上運行，在該圖中，節點可以通過大量不同的關系類型進行連接。我們首次使用Decagon推斷可以識別成對藥物副作用的預測模型。Decagon預測了副作用與共同處方藥對（即藥物組合）之間的關聯，識別不能歸因于任何一種藥物的副作用。圖卷積模型在多藥副作用預測任務上實現了極好的準確性，使我們能夠整合了分子和患者群體數據(molecular and patient population data)的近一千種不同的副作用類型，并提供有關藥物相互作用的臨床表現的見解。

有一些未來研究的方向。 我們的方法將分子蛋白質-蛋白質和藥物-靶網絡與人群水平患者的副作用數據結合在一起。其他生物醫學信息來源，例如藥物的劑量濃度水平，可能與建模藥物對的副作用有關，我們希望研究將它們整合到模型中的效用。由于Decagon的圖卷積模型是在任何多模式網絡中進行多關系鏈接預測的通用方法，因此將其應用于其他領域和問題將很有趣，例如，發現patient outcomes與comorbid diseases之間的關聯，或確定突變表型(mutant phenotypes)和基因-基因相互作用之間的依賴性。

總結

以上是生活随笔為你收集整理的「论文翻译」Modeling polypharmacy side effects with graph convolutional networks的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。