用少于10行代码训练前沿深度学习新药研发模型
?PaperWeekly?·?作者｜黃柯鑫
學校｜哈佛大學碩士生
研究方向｜圖學習和生物醫(yī)療
深度學習正在革新藥研發(fā)行業(yè)。在本文中，我們將展示如何使用 DeepPurpose，一個基于 PyTorch 的工具包來解鎖 50 多個用于藥物-靶標相互作用（Drug-Target Interaction）預測的模型。
DTI 預測是新藥研發(fā)中的一項基本任務。DeepPurpose 的操作模式是像 scikit-learn 一樣。只需幾行代碼，就可以利用最前沿的深度學習和藥物研發(fā)模型。DeepPurpose 還有一個簡單的界面來做 DTI 預測的兩個重要應用：虛擬篩選（Virtual Screening）和舊藥新用（Drug Repurposing）。要了解更多信息，請訪問 arxiv 文章和 Github。
論文標題：DeepPurpose: a Deep Learning Library for Drug-Target Interaction Prediction and Applications to Repurposing and Screening
論文鏈接：https://arxiv.org/abs/2004.08919
項目鏈接：https://github.com/kexinhuang12345/DeepPurpose
發(fā)現(xiàn)一種新藥要花費 10 年以上的時間，成本要超過 26 億美元 [1]。最近，許多 AI 藥物研發(fā)創(chuàng)業(yè)公司出現(xiàn)并成功應用了深度學習技術來輔助新藥研發(fā)，并大大縮短了時間/節(jié)省成本 [2,3]。在國內前兩天在世界人工智能大會，大藥廠 AstraZeneca 的演講和騰訊的云深智藥平臺發(fā)布，都預示著人工智能新藥研發(fā)將會在未來非常的火。因此，這是一個非常令人興奮和蓬勃發(fā)展的領域！
▲ Image by authors.
背景
讓我們從一些生物化學概念開始。疾病通常歸因于疾病途徑中的靶蛋白。藥物可以用來調節(jié)這個靶蛋白，以此來治愈疾病。相當于是斷了這個疾病的發(fā)生途徑。其中一個主要的藥物作用機制是“鎖與鑰匙”理論 [4]。靶蛋白是“鎖” ，而藥物是那把合適的“鑰匙” 以解鎖這個靶蛋白。鎖和鑰匙的匹配程度也被稱為綁定親和力（binding affinity）。
▲?Image permission granted by Christopher Vakoc.
藥物-靶標相互作用（Drug-Target Interaction, DTI）測量的就是藥物分子與蛋白質靶標的結合親和力。因此，我們可以輕松地想象到，如果一個 DTI 深度學習預測模型能準確預測藥物分子與蛋白質靶標的結合親和，它可以極大地有益于藥物的發(fā)現(xiàn) [5]。
更具體地說，虛擬篩選（Virtual Screening）和舊藥新用（Drug Repurposing）是基于 DTI 的兩個主要應用。虛擬篩選有助于識別可以與目標蛋白質結合的配體候選物，而藥物重新定位則為現(xiàn)有藥物找到新的治療目的。
▲ Image by authors.
DeepPurpose概述
DeepPurpose 將 DTI 模型表述為編碼器-解碼器 (encoder-decoder) 框架, 這個框架包括以前的大部分工作 [6,7,8,9,10]，并還包括了很多新的模型。兩個編碼器（encoder）分別為藥物和蛋白質生成 embedding，然后將它們串聯(lián)到解碼器（decoder）中，在 decoder 中預測結合親和力（binding affinity score）。DeepPurpose 是用 PyTorch 寫的。
▲ Image by authors.
DeepPurpose 使用最容易的輸入數(shù)據(jù)格式。輸入是藥物靶標對（drug-target pair），其中藥物使用 SMILES 字符串（藥物分子圖像上的 Depth-First Traversal），而靶蛋白則使用氨基酸序列（amino acid sequence）。輸出是指示藥物-靶對的結合活性的分數(shù)。
▲ Image by authors.
對于藥物分子，我們提供了 8 種 encoder：四個經(jīng)典的化學信息學指紋（Morgan，Pubchem，Daylight 和 RDKit 2D），并在它們之上用深度神經(jīng)網(wǎng)絡（DNN）；1D 卷積神經(jīng)網(wǎng)絡（CNN），在 SMILES 字符串上；在 CNN 之上加上遞歸神經(jīng)網(wǎng)絡，以利用序列順序上的信息；子結構分區(qū)指紋上的 Transformer [11]；分子圖上的圖神經(jīng)網(wǎng)絡（Message Passing Neural Network）。
▲ Image by authors.
對于靶蛋白，我們提供了 7 種 encoder：在四個經(jīng)典計算生物學指紋（AAC，PseAAC，Conjoint Triad, Quasi-sequence）之上的 DNN；在上的氨基酸序列上的 1D CNN；在 CNN 加 RNN；和在 substructure fingerprint 上用 transformer。
▲ Image by authors.
DeepPurpose 總共提供了 56 種（8 乘 7）模型！另外，大多數(shù)模型都是 novel 的！
DeepPurpose編程框架
現(xiàn)在，在對 DTI 和 DeepPurpose 進行概念性概述之后，我將開始介紹 DeepPurpose 編程框架。該框架由幾個步驟組成，其中每個步驟都由一行代碼組成：
Data loading（數(shù)據(jù)加載）?
Encoder specification（編碼器規(guī)格）
Data encoding and split（數(shù)據(jù)編碼和分割）
Model configuration generation（模型配置生成）
Model initialization（模型初始化）
Model training（模型訓練）
Repurposing/Screening（舊藥新用/虛擬篩選）
Model saving and loading（模型保存和加載）
為了獲得更好的學習體驗，建議在您自己的 Jupyter Notebook 中或通過這個帖子的筆記本執(zhí)行以下步驟。
https://github.com/kexinhuang12345/DeepPurpose/blob/master/Tutorial_1_DTI_Prediction.ipynb
要安裝 DeepPurpose，您可以使用 DeepPurpose Binder 云筆記本（只需單擊鏈接！）：
https://mybinder.org/v2/gh/kexinhuang12345/DeepPurpose/master
也可以使用本地 DeepPurpose 環(huán)境。可以在此處找到安裝說明：
https://github.com/kexinhuang12345/DeepPurpose#install--usage
還可以在其中找到視頻安裝教程：
https://youtu.be/bqinehjnWvE
Data loading（數(shù)據(jù)加載）
DeepPurpose 接受 1. 一個藥物的 SMILES 字符串的 NumPy array（X_drugs）；2. NumPy 陣列的一個靶蛋白的氨基酸序列 NumPy array（X_targets）；3. 一個標簽 NumPy array（y）。
這個 y 可以是 binary 的 0/1，表示這個藥物和靶蛋白會不會反應；也可以是表示綁定親和力值的實數(shù)。這個 input 藥物和靶蛋白和標簽應成對，即 y [0] 是 X_drugs [0] 和 X_targets [0] 的標簽。DeepPurpose 會根據(jù)數(shù)據(jù)集自動在二分類任務或回歸任務之間切換。?
除了通過自己處理轉換為 NumPy array 外，DeepPurpose 還提供基準數(shù)據(jù)集（benchmark）加載器（DAVIS / KIBA / BindingDB）以簡化預處理。例如，在本文中，我們將使用 DAVIS 數(shù)據(jù)集：
from?DeepPurpose?import?utils,?models,?datasetX_drugs,?X_targets,?y?=?dataset.load_process_DAVIS(path?=?'./data',?binary?=?False,?convert_to_log?=?True,?threshold?=?30) print('Drug?1:?'?+?X_drugs[0]) print('Target?1:?'?+?X_targets[0]) print('Score?1:?'?+?str(y[0]))#?------?Output?------ #?Beginning?Processing... #?Beginning?to?extract?zip?file... #?Default?set?to?logspace?(nM?->?p)?for?easier?regression #?Done! #?Drug?1:?CC1=C2C=C(C=CC2=NN1)C3=CC(=CN=C3)OCC(CC4=CC=CC=C4)N #?Target?1:?MKKFFDSRREQGGSGLGSGSSGGGGSTSGLGSGYIGRVFGIGRQQVTVDEVLAEGGFAIVFLVRTSNGMKCALKRMFVNNEHDLQVCKREIQIMRDLSGHKNIVGYIDSSINNVSSGDVWEVLILMDFCRGGQVVNLMNQRLQTGFTENEVLQIFCDTCEAVARLHQCKTPIIHRDLKVENILLHDRGHYVLCDFGSATNKFQNPQTEGVNAVEDEIKKYTTLSYRAPEMVNLYSGKIITTKADIWALGCLLYKLCYFTLPFGESQVAICDGNFTIPDNSRYSQDMHCLIRYMLEPDPDKRPDIYQVSYFSFKLLKKECPIPNVQNSPIPAKLPEPVKASEAAAKKTQPKARLTDPIPTTETSIAPRQRPKAGQTQPNPGILPIQPALTPRKRATVQPPPQAAGSSNQPGLLASVPQPKPQAPPSQPLPQTQAKQPQAPPTPQQTPSTQAQGLPAQAQATPQHQQQLFLKQQQQQQQPPPAQQQPAGTFYQQQQAQTQQFQAVHPATQKPAIAQFPVVSQGGSQQQLMQNFYQQQQQQQQQQQQQQLATALHQQQLMTQQAALQQKPTMAAGQQPQPQPAAAPQPAPAQEPAIQAPVRQQPKVQTTPPPAVQGQKVGSLTPPSSPKTQRAGHRRILSDVTHSAVFGVPASKSTQLLQAAAAEASLNKSKSATTTPSGSPRTSQQNVYNPSEGSTWNPFDDDNFSKLTAEELLNKDFAKLGEGKHPEKLGGSAESLIPGFQSTQGDAFATTSFSAGTAEKRKGGQTVDSGLPLLSVSDPFIPLQVPDAPEKLIEGLKSPDTSLLLPDLLPMTDPFGSTSDAVIEKADVAVESLIPGLEPPVPQRLPSQTESVTSNRTDSLTGEDSLLDCSLLSNPTTDLLEEFAPTAISAPVHKAAEDSNLISGFDVPEGSDKVAEDEFDPIPVLITKNPQGGHSRNSSGSSESSLPNLARSLLLVDQLIDL #?Score?1:?7.3655227298392685 #?--------------------您還可以使用 dataset.read_file_training_dataset_drug_target_pairs 函數(shù)從 txt 文件加載自己的數(shù)據(jù)集，其中每行是藥物 SMILES 字符串，目標氨基酸序列和結合分數(shù)。
Encoder specification（編碼器規(guī)格）?
獲得所需的數(shù)據(jù)格式后，我們需要首先指定用于藥物和蛋白質的編碼器 (encoder)。在這里，我們嘗試將 MPNN 用作藥物，將 CNN 用作靶蛋白的 encoder。請注意，您只需更改編碼名稱即可切換編碼器。此處列出了 DeepPurpose 編碼器的完整列表：
https://github.com/kexinhuang12345/DeepPurpose#encodings?
如果使用 CPU 來運行此文章的 code，您會發(fā)現(xiàn) MPNN 和 CNN 有點大，則可以嘗試使用較小的編碼器，例如 Morgan 用于藥物，而 Conjoint_triad 用于靶蛋白。
drug_encoding,?target_encoding?=?'MPNN',?'CNN' #drug_encoding,?target_encoding?=?'Morgan',?'Conjoint_triad'Data encoding and split（數(shù)據(jù)編碼和分割）
現(xiàn)在，我們需要使用 utils.data_process 函數(shù)為不同的編碼器準備數(shù)據(jù)編碼。在這個函數(shù)中，我們可以指定 train/validation/test split，隨機種子以確?？芍貜托?。
它還支持其他數(shù)據(jù)拆分方法（例如 Cold_drug 和 Cold_protein），該方法可以在藥物/蛋白質上進行 split，這樣子 test set 就測試 train set 不在的的藥物/蛋白質，以此來對模型進行魯棒性評估。這個函數(shù)輸出的是訓練，驗證和測試集的 Pandas Dataframe。
train,?val,?test?=?utils.data_process(X_drugs,?X_targets,?y,?drug_encoding,?target_encoding,?split_method='random',frac=[0.7,0.1,0.2],random_seed?=?1)#?------?Output?------? #?in?total:?30056?drug-target?pairs #?encoding?drug... #?unique?drugs:?68 #?drug?encoding?finished... #?encoding?protein... #?unique?target?sequence:?379 #?protein?encoding?finished... #?splitting?dataset... #?Done. #?--------------------Model configuration generation（模型配置生成）
現(xiàn)在，我們要生成一個模型的配置（config）。您可以在此功能中修改幾乎所有超參數(shù)（例如 learning rate，epoch size，batch size），模型參數(shù)（例如hidden dimension，filter size 等等）。所有支持的配置參數(shù)在此鏈接中列出：
https://github.com/kexinhuang12345/DeepPurpose/blob/e169e2f550694145077bb2af95a4031abe400a77/DeepPurpose/utils.py#L486
config?=?utils.generate_config(drug_encoding?=?drug_encoding,?target_encoding?=?target_encoding,?cls_hidden_dims?=?[1024,1024,512],?train_epoch?=?5,?LR?=?0.001,?batch_size?=?128,hidden_dim_drug?=?128,mpnn_hidden_size?=?128,mpnn_depth?=?3,?cnn_target_filters?=?[32,64,96],cnn_target_kernels?=?[4,8,12])?
Model initialization（模型初始化）
接下來，我們使用以上配置初始化模型：
model?=?models.model_initialize(**config)Model training（模型訓練）
現(xiàn)在，只需鍵入 model.train 函數(shù)即可進行訓練！
Loss 曲線將自動產(chǎn)生。如果該任務是二分類（binary classification）任務，則還將產(chǎn)生測試集上的 ROC-AUC 和 PR-AUC 曲線。
Repurposing/Screening（舊藥新用/虛擬篩選）
訓練完模型后，我們可以使用 models.repurpose 和 models.virtual_screening 函數(shù)簡單地做舊藥新用和虛擬篩選。
接下來我們來舉個例，我們想針對 COVID-19 靶標 3CL 蛋白酶從一組已經(jīng)上市的抗病毒藥物中選取看看會不會反應。我們只要先 load 這個數(shù)據(jù)然后直接使用 models.repurpose 函數(shù)即可。我們在 DeepPurpose.dataset 中提供了相應的數(shù)據(jù)。
target,?target_name?=?dataset.load_SARS_CoV2_Protease_3CL() repurpose_drugs,?repurpose_drugs_name,?repurpose_drugs_pubchem_cid?=?dataset.load_antiviral_drugs()y_pred?=?models.repurpose(X_repurpose?=?repurpose_drugs,?target?=?target,?model?=?model,?drug_names?=?repurpose_drugs_name,?target_name?=?target_name,?result_folder?=?"./result/",?convert_y?=?True)#?------?Output?------ #?repurposing... #?in?total:?82?drug-target?pairs #?encoding?drug... #?unique?drugs:?81 #?drug?encoding?finished... #?encoding?protein... #?unique?target?sequence:?1 #?protein?encoding?finished... #?Done. #?predicting... #?--------------------DeepPurpose 會自動生成候選藥物排名列表：
注意因為這個模型只訓練了幾個 Epoch，而且在一個小的數(shù)據(jù)集上所以這個列表可能不是很準確。但我們發(fā)現(xiàn)在大的模型上進行訓練，DeepPurpose 產(chǎn)出了很多在臨床研究的藥物。
DeepPurpose 更加實際的應用場景是做縮小高通量篩選實驗的范圍。在這些列表中，我們可以剔除那些親和力很低的藥物分子，然后把其他的送到高通量篩選實驗中，這樣子可以大量的減少高通量篩選實驗的成本并也不遺漏可能的藥物分子。
接下來，我們展示如何對 BindingDB 數(shù)據(jù)集中的數(shù)據(jù)樣本進行虛擬篩選，然后使用 virtual_screening 函數(shù)生成具有高結合親和力的藥物-靶標對列表。如果未提供藥物/靶標名稱，則使用藥物/靶標列表的 Index。會生成一個看起來跟上面相似的排名列表。
Model saving and loading（模型保存和加載）?
最后，保存和加載模型也非常容易。加載功能還自動檢測模型是否在多個GPU上訓練。保存和加載我們剛剛訓練的模型的例子：
model.save_model('./tutorial_model') model?=?models.model_pretrained(path_dir?=?'./tutorial_model')我們還提供了很多預訓練模型，您可以在列表下找到所有可用的模型。
https://github.com/kexinhuang12345/DeepPurpose#pretrained-models
例如，要加載在 BindingDB Kd 數(shù)據(jù)集上預先訓練的 MPNN + CNN 模型：
model?=?models.model_pretrained(model?=?'MPNN_CNN_BindingDB')#?------?Output?------ #?Beginning?Downloading?MPNN_CNN_BindingDB?Model... #?Downloading?finished...?Beginning?to?extract?zip?file... #?pretrained?model?Successfully?Downloaded... #?--------------------That's it！您現(xiàn)在已經(jīng)可以為藥物-靶標相互作用預測任務訓練出 State-of-the-art 的深度學習模型了！?
DeepPurpose 還支持更多功能，例如，這個鏈接演示了如何使用 Ax 平臺用超參數(shù)調整方法，像 Bayesian Optimization 等對 DeepPurpose 進行優(yōu)化。
https://github.com/kexinhuang12345/DeepPurpose/blob/master/DEMO/Drug_Property_Pred-Ax-Hyperparam-Tune.ipynb
最后，許多現(xiàn)實世界中的藥物開發(fā)都涉及 assay，即數(shù)據(jù)僅由藥物分子和與靶標的結合分數(shù)組成。該問題也稱為藥物性質預測（drug property prediction）任務。DeepPurpose 對這類任務也可以用。即只使用藥物編碼器（drug encoder）來預測結合分數(shù)。該框架與 DTI 預測非常相似，如下所示：
from?DeepPurpose?import?utils,?models,?dataset,?property_predX_drugs,?X_targets,?y?=?dataset.load_AID1706_SARS_CoV_3CL(path?=?'./data',?binary?=?True,?threshold?=?15,?balanced?=?True)drug_encoding?=?'MPNN'train,?val,?test?=?utils.data_process(X_drug?=?X_drugs,?y?=?y,?drug_encoding?=?drug_encoding,split_method='random',frac=[0.7,0.1,0.2],random_seed?=?1)config?=?utils.generate_config(drug_encoding?=?drug_encoding,?cls_hidden_dims?=?[1024,1024,512],?train_epoch?=?5,?LR?=?0.001,?batch_size?=?128,hidden_dim_drug?=?128,mpnn_hidden_size?=?128,mpnn_depth?=?3)model?=?property_pred.model_initialize(**config)model.train(train,?val,?test)更詳細說明，您可以在此處找到此博客文章的 Jupyter Notebook。
DTI 預測：
https://github.com/kexinhuang12345/DeepPurpose/blob/master/Tutorial_1_DTI_Prediction.ipynb
藥物特性預測：
https://github.com/kexinhuang12345/DeepPurpose/blob/master/Tutorial_2_Drug_Property_Pred_Assay_Data.ipynb
總結
這就是我們有關 DeepPurpose 和 DTI 預測的博客文章，希望您對深度學習新藥研發(fā)這個交叉學科開始感興趣。希望有更多的人能夠為這個開源項目做出貢獻！?
要了解更多信息，請訪問 arxiv 文章和 Github，請 star，分享并 contribute！?
這篇文章是由我，Kexin Huang，還有 Tianfan Fu，Lucas Glass，Marinka Zitnik，Cao Xiao 和 Jimeng Sun 共同合作。?
如果您有任何疑問或反饋或文章中有任何不妥的地方，請隨時通過 kexinhuang@hsph.harvard.edu 與我聯(lián)系；或者就在 Twitter @ KexinHuang5，知乎上直接私我。?
參考文獻
[1] Mullard, A. New drugs cost US$2.6 billion to develop. Nature Reviews Drug Discovery (2014).?
[2] Fleming, Nic. How artificial intelligence is changing drug discovery. Nature (2018).?
[3] Smalley, E. AI-powered drug discovery captures pharma interest. Nature Biotechnology (2017).?
[4] Gschwend DA, Good AC, Kuntz ID. Molecular docking towards drug discovery. Journal of Molecular Recognition: An Interdisciplinary Journal (1996).?
[5] Mayr, Andreas, et al. Large-scale comparison of machine learning methods for drug target prediction on ChEMBL. Chemical science (2018).?
[6] ?ztürk H, ?zgür A, Ozkirimli E. DeepDTA: deep drug-target binding affinity prediction. Bioinformatics (2018).?
[7] Nguyen, Thin, Hang Le, and Svetha Venkatesh. GraphDTA: prediction of drug–target binding affinity using graph convolutional networks. BioRxiv (2019).?
[8] Tsubaki, Masashi, Kentaro Tomii, and Jun Sese. Compound–protein interaction prediction with end-to-end learning of neural networks for graphs and sequences. Bioinformatics (2019).?
[9] Lee, Ingoo, Jongsoo Keum, and Hojung Nam. DeepConv-DTI: Prediction of drug-target interactions via deep learning with convolution on protein sequences. PLoS computational biology (2019).?
[10] Chen, Xing, et al. Drug–target interaction prediction: databases, web servers and computational models. Briefings in bioinformatics (2016).?
[11] Huang K, Xiao C, Hoang T, Glass L, Sun J. CASTER: Predicting Drug Interactions with Chemical Substructure Representation. AAAI (2020).
?
更多閱讀
?
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。
?????來稿標準：
? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?
? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?
? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志
?????投稿郵箱：
? 投稿郵箱：hr@paperweekly.site?
? 所有文章配圖，請單獨在附件中發(fā)送?
? 請留下即時聯(lián)系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通
????
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結
以上是生活随笔為你收集整理的用少于10行代码训练前沿深度学习新药研发模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： A股燃气股批量涨停 国际天然气价格涨了十
- 下一篇： 每月定投500元有意义吗 投资时需要长