點擊上方藍字關注我們

面向多星多任務的大數(shù)據(jù)處理系統(tǒng)設計

馬福利¹,?石濤²,?陳玲¹,?鄭巖¹,?熊森林¹

1?中國科學院國家空間科學中心，北京 100190

2?中國科學院空天信息創(chuàng)新研究院，北京 100094

?摘要：隨著我國發(fā)射的空間科學衛(wèi)星越來越多，科學數(shù)據(jù)量爆發(fā)式增長，空間科學衛(wèi)星大數(shù)據(jù)處理逐漸成為空間科學創(chuàng)新發(fā)展過程中被重點關注的環(huán)節(jié)，建設一套高性能的地面數(shù)據(jù)處理系統(tǒng)是建設我國自主可控的空間科學大數(shù)據(jù)生態(tài)、助力科學成果產出的重要推手。面向多星多任務并行處理的任務需求，針對空間科學衛(wèi)星大數(shù)據(jù)處理中的多分級分類、多源產品融合組織以及高時效性要求等特點，提出了適用于大數(shù)據(jù)處理業(yè)務場景的高可靠硬件環(huán)境設計方案，并針對科學衛(wèi)星處理任務類型多的特點，提出了基于任務類型感知的統(tǒng)一資源調度系統(tǒng)。完成了面向多星多任務的可擴展地面大數(shù)據(jù)處理系統(tǒng)的研制，支撐了中國科學院空間科學先導專項中的科學衛(wèi)星數(shù)據(jù)處理任務。

關鍵詞：?科學衛(wèi)星?;?大數(shù)據(jù)?;?可擴展?;?地面處理系統(tǒng)

論文引用格式：

馬福利, 石濤, 陳玲, 等. 面向多星多任務的大數(shù)據(jù)處理系統(tǒng)設計[J]. 大數(shù)據(jù), 2021, 7(5): 3-16.

MA F L, SHI T, CHEN L, et al. Design of big data processing system supporting multi-satellites and multi-tasks[J]. Big Data Research, 2021, 7(5): 3-16.

1 引言

空間科學是一門前沿交叉性學科，聚焦于宇宙和生命起源、太陽系與人類起源等基礎前沿主題，致力于解決暗物質與暗能量、引力波、太陽活動與空間天氣響應等重大科學問題。空間科學是典型的“數(shù)據(jù)驅動”型學科。以航天器平臺為主要手段獲取的科學數(shù)據(jù)對于學科的發(fā)展具有舉足輕重的作用。一套優(yōu)良的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需要保障科學衛(wèi)星數(shù)據(jù)的正確性、完整性、可用性、易用性和時效性，最大限度地發(fā)揮出衛(wèi)星探測數(shù)據(jù)的研究價值。

國內外就衛(wèi)星地面處理系統(tǒng)開展了大量的研制工作，形成了較穩(wěn)定的科學衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)框架。國內方面，遙感衛(wèi)星形成了面向單衛(wèi)星的基于分布式云存儲技術的地面實時處理系統(tǒng)以及具有一定任務調度能力的多衛(wèi)星地面處理系統(tǒng)模式；風云氣象衛(wèi)星數(shù)據(jù)存檔與服務系統(tǒng)基于高性能計算機集群建立了可支持風云系列衛(wèi)星的存儲與服務；基于面向服務架構（service-oriented architecture， SOA）研制的天宮二號地面數(shù)據(jù)處理與服務系統(tǒng)實現(xiàn)了多領域、多載荷、海量數(shù)據(jù)的集中處理和管理。國外方面，歐洲空間天文中心（European Space Astronomy Centre，ESAC）與日本宇宙航空研究開發(fā)機構（Japan Aerospace Exploration Agency，JAXA）采用Docker技術研制的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)可支持不同載荷數(shù)據(jù)處理算法的快速交換和部署，很好地執(zhí)行了水星探測任務BepiColombo。

空間科學研究具有很強的競爭性，只有大膽創(chuàng)新才能孕育出顛覆性的結果，這種學科內稟屬性決定了每項空間科學任務在探測空間布局、探測內容設計、有效載荷探測精度/分辨率方面與已有的衛(wèi)星任務有著巨大的差異。隨之而來的是衛(wèi)星任務對地面數(shù)據(jù)處理系統(tǒng)提出的新挑戰(zhàn)。例如，空間天文警報信息的識別和發(fā)布要求是秒級響應，處理時效性極高；先進天基太陽天文臺（advanced space-based solar observatory，ASO-S）衛(wèi)星單日產生約500 GB的原始觀測數(shù)據(jù)，處理數(shù)據(jù)量巨大；暗物質粒子探測衛(wèi)星（dark matter particle explorer，DAMPE）要求星上探測數(shù)據(jù)不丟失一個源包，質量要求嚴苛。空間科學衛(wèi)星數(shù)據(jù)的獨特性質給衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)提出了更多的個性化需求。

當前，我國空間科學衛(wèi)星任務呈現(xiàn)體系發(fā)展態(tài)勢，要求配套建設的地面數(shù)據(jù)處理系統(tǒng)可滿足多星多任務地面數(shù)據(jù)處理與管理需求。傳統(tǒng)的衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)難以滿足大數(shù)據(jù)場景下的多領域、多種類、大體量、高時效性、高質量等數(shù)據(jù)處理要求。基于此，本文在細致分析空間科學衛(wèi)星地面數(shù)據(jù)處理系統(tǒng)需求與面臨的技術挑戰(zhàn)的基礎上，設計了一套可滿足多星多任務的空間科學衛(wèi)星大數(shù)據(jù)地面數(shù)據(jù)處理系統(tǒng)框架，系統(tǒng)地實現(xiàn)了衛(wèi)星下行數(shù)據(jù)的快速處理，對特定的天文警報數(shù)據(jù)實現(xiàn)了秒級快速處理。

2 空間科學衛(wèi)星大數(shù)據(jù)特性分析

空間科學衛(wèi)星的數(shù)據(jù)處理過程需根據(jù)學科進行差異化流程設計，主要依據(jù)衛(wèi)星的數(shù)據(jù)產品分級定義劃分。從衛(wèi)星下行的原始數(shù)據(jù)到用于發(fā)布的2級或3級數(shù)據(jù)產品，每級數(shù)據(jù)產品的組織形態(tài)根據(jù)學科慣例以及衛(wèi)星任務數(shù)據(jù)處理和管理需求進行自定義。本文以引力波暴高能電磁對應體全天監(jiān)測器（gravitational wave highenergy electromagnetic counterpart all-sky monitor，GECAM）衛(wèi)星為例介紹衛(wèi)星數(shù)據(jù)處理流程和數(shù)據(jù)產品組織過程的特點。GECAM衛(wèi)星是我國首顆具有警報數(shù)據(jù)實時下行能力的空間天文科學衛(wèi)星，星上下行的數(shù)據(jù)包括事例數(shù)據(jù)、并道數(shù)據(jù)、工程數(shù)據(jù)以及天文警報數(shù)據(jù)，其各級數(shù)據(jù)處理步驟以及數(shù)據(jù)產品組織過程具有典型的大數(shù)據(jù)量、密集型計算以及多源數(shù)據(jù)融合處理等特征。

2.1 依據(jù)數(shù)據(jù)產品分級而定義的數(shù)據(jù)處理流程

由于星上計算資源和存儲資源非常有限以及載荷部分自身設計的原因，很多科學探測數(shù)據(jù)需要經過解壓、解算以及融合等處理后才能成為可供科學家進行科學分析的數(shù)據(jù)產品，下行處理過程中的輸出數(shù)據(jù)會根據(jù)平臺、載荷以及輔助數(shù)據(jù)的類型進行分類處理，通常也會根據(jù)處理的程度進行不同的數(shù)據(jù)產品格式定義。因此，衛(wèi)星數(shù)據(jù)處理流程的規(guī)劃往往與數(shù)據(jù)產品的分級定義有直接的關聯(lián)。

圖1展示了依據(jù)產品分級定義的GECAM衛(wèi)星0級產品處理流程。GECAM衛(wèi)星通過遙測信道、數(shù)傳信道和北斗信道下行星上原始觀測數(shù)據(jù)。根據(jù)數(shù)據(jù)處理程度的不同，預處理數(shù)據(jù)產品主要劃分為0A、0B、0C、0D和0Q等級別。GECAM衛(wèi)星數(shù)據(jù)處理首先需要按照不同的下行信道類型進行區(qū)分處理，在每類處理中需根據(jù)產品子級定義不同的處理流程。

圖1???GECAM衛(wèi)星0級產品處理流程

2.2 多源融合的數(shù)據(jù)產品組織結構

從多源異構數(shù)據(jù)中抽取相關信息并支持高效數(shù)據(jù)融合組織，按照產品格式要求輸出時間和內容完整的數(shù)據(jù)產品是科學衛(wèi)星大數(shù)據(jù)處理的又一特點。由于科學衛(wèi)星探測任務的類型不同以及科學數(shù)據(jù)處理與研究分析的需求不同，數(shù)據(jù)產品組織的定義往往差異較大。為了實現(xiàn)數(shù)據(jù)產品的可用性和易用性，通常會根據(jù)使用需求在產品中加入其他多源、異構的輔助數(shù)據(jù)信息，產品組織和生產中存在對多源數(shù)據(jù)的提取、組織拼接需求。

常規(guī)觀測類的衛(wèi)星一般根據(jù)數(shù)據(jù)的生產時間或軌道圈次進行固定時間段的數(shù)據(jù)內容切分，比如按小時、按天、按軌道號進行數(shù)據(jù)產品的組織；試驗類或者提案類的科學衛(wèi)星需要針對一次試驗或一次提案覆蓋的時間段進行數(shù)據(jù)產品的組織，將一次試驗或與提案相關的數(shù)據(jù)進行融合組織。

GECAM衛(wèi)星將觸發(fā)時刻產生的觸發(fā)信息組織成約31條短報文數(shù)據(jù)，并通過北斗系統(tǒng)實時下行至地面，同時將觸發(fā)時刻對應的約300 s數(shù)據(jù)通過X波段優(yōu)先下行。由于觸發(fā)時段內的數(shù)據(jù)對于科學分析工作至關重要，為了方便科學家開展數(shù)據(jù)產品分析，呈現(xiàn)觸發(fā)時間段內完整的數(shù)據(jù)內容，在數(shù)據(jù)處理過程中為該類產品設計了特有的產品組織模型，如圖2所示。觸發(fā)數(shù)據(jù)產品組織中包括觸發(fā)數(shù)據(jù)、姿態(tài)數(shù)據(jù)、軌道數(shù)據(jù)、載荷工作狀態(tài)以及日月地空間信息等數(shù)據(jù)，這些數(shù)據(jù)分別來自載荷工程數(shù)據(jù)信道、爆發(fā)科學數(shù)據(jù)信道以及北斗短報文，在地面經過多源融合處理后，按照觸發(fā)編號組織成特定的觸發(fā)數(shù)據(jù)產品。

圖2???GECAM衛(wèi)星觸發(fā)數(shù)據(jù)產品組織模型

2.3 處理數(shù)據(jù)體量大、種類廣

空間科學衛(wèi)星數(shù)據(jù)的最大特點是種類多、來源廣、體量大。地面數(shù)據(jù)處理系統(tǒng)需要同時支持多個空間科學在軌衛(wèi)星下行數(shù)據(jù)處理任務。衛(wèi)星開展7×2 4小時不間斷的探測，源源不斷地產生新的科學數(shù)據(jù)并下行至地面，系統(tǒng)需對接收的多源、多信使原始數(shù)據(jù)（數(shù)傳信道數(shù)據(jù)、遙測信道數(shù)據(jù)、北斗短報文、甚高頻（very high frequency，VHF）數(shù)據(jù)）開展虛擬信道分離、解幀、源包提取、解包、排序、重組、物理量解析轉換、載荷粗略標定、產品格式化等處理，按產品內容和處理程度組織成不同級別的編輯級數(shù)據(jù)產品。

空間科學衛(wèi)星在軌單日探測數(shù)據(jù)量逐漸增長，硬X射線調制望遠鏡（hard x-ray modulation telescope，HXMT）衛(wèi)星每日通過數(shù)傳X波段下行的原始數(shù)據(jù)約27.9 GB，暗物質粒子探測衛(wèi)星每日下行的原始數(shù)據(jù)約26.69 GB，太極一號衛(wèi)星每日下行的原始數(shù)據(jù)約8.05 GB，墨子號量子科學實驗衛(wèi)星每日下行的原始數(shù)據(jù)約0.41 GB，ASO-S衛(wèi)星每日下行的原始數(shù)據(jù)約500 GB。此外，還有中法天文衛(wèi)星SVOM（space variable objects monitor）、愛因斯坦探針（Einstein probe，EP）衛(wèi)星以及中歐微笑衛(wèi)星SMILE （solar wind magnetosphere ionosphere link explorer）等待發(fā)射的科學衛(wèi)星，后續(xù)在軌科學衛(wèi)星單日下行的原始數(shù)據(jù)峰值量預計將達到800 GB，系統(tǒng)單日需生產數(shù)千類編輯級數(shù)據(jù)產品以及數(shù)十類星地時差、軌道根數(shù)、精密星歷、衛(wèi)星指向夾角等輔助數(shù)據(jù)產品，單日輸出的數(shù)據(jù)產品預計約2 TB。

2.4 數(shù)據(jù)時效性要求高

為了盡快拿到衛(wèi)星下行的第一手資料，并在第一時間發(fā)現(xiàn)重大的科學事件，各衛(wèi)星科學應用系統(tǒng)往往會對數(shù)據(jù)處理的時效性提出較高的要求。在下行數(shù)據(jù)量非常大的情況下，往往會對數(shù)據(jù)設置處理優(yōu)先級，將有科學事件警報意義的數(shù)據(jù)以最高優(yōu)先級進行處理。尤其是針對空間天文類的衛(wèi)星探測任務，天體爆發(fā)事件轉瞬即逝，如果不能快速發(fā)現(xiàn)并處理事件，就會錯失很多重要的發(fā)現(xiàn)。因此，為了滿足多源、多信使手段對已發(fā)現(xiàn)天體源/爆發(fā)源的觀測，空間天文數(shù)據(jù)對處理時效性提出了秒級或分鐘級的要求。

特別地，空間天文警報數(shù)據(jù)產品的時效性要求達到了秒級。星上原始數(shù)據(jù)采用將所有數(shù)據(jù)混合的組織方式，設計高效的處理模式和資源調度框架以保證滿足秒級的處理時效性要求是地面數(shù)據(jù)處理系統(tǒng)面臨的一大挑戰(zhàn)。

2.5 數(shù)據(jù)產品質量控制要求嚴格

空間科學衛(wèi)星數(shù)據(jù)處理的另一大特質是需要從數(shù)據(jù)規(guī)范性、一致性和完整性等角度保障數(shù)據(jù)質量，確保數(shù)據(jù)可讀、可用、易用和好用。數(shù)據(jù)質量控制要求意味著系統(tǒng)每進行一次（級別）產品生產或數(shù)據(jù)傳輸，均需對數(shù)據(jù)產品質量進行審核和校驗，確保數(shù)據(jù)在地面處理或傳輸中不引入錯誤。遇到因星地傳輸導致的數(shù)據(jù)缺失或時間不連續(xù)時，為了保障數(shù)據(jù)完整性，系統(tǒng)需對備份數(shù)據(jù)或歷史數(shù)據(jù)進行重新生產，這為系統(tǒng)中的產品版本識別與控制、產品組織和管理帶來了挑戰(zhàn)。

2.6 數(shù)據(jù)計算任務類型多

各空間科學衛(wèi)星的數(shù)據(jù)處理需求和目標不同，因此各個數(shù)據(jù)處理環(huán)節(jié)中的計算需求也會根據(jù)處理目標的不同而變化。例如在GECAM衛(wèi)星0D級數(shù)據(jù)處理中，需對大量事例數(shù)據(jù)（時間分辨率優(yōu)于1 s）中的時間碼進行解算，解算算法包括3次擬合，計算復雜度高，屬于計算密集型處理任務，對CPU資源具有較高的需求；在0B級數(shù)據(jù)處理過程中需要頻繁調度地面系統(tǒng)公共信息庫提供的WebService接口，以獲取處理過程中需要的信息，這種跨服務器的頻繁I/O查詢屬于I/O密集型處理任務，該類型的任務對CPU的消耗通常比較高；ASO-S衛(wèi)星單次過境下行的原始數(shù)據(jù)約110 GB，開展百GB量級的數(shù)據(jù)處理屬于典型的數(shù)據(jù)密集型處理任務，對于CPU計算資源、存儲資源都是巨大的挑戰(zhàn)。

3 系統(tǒng)設計與實現(xiàn)

3.1 系統(tǒng)框架設計

作為空間科學衛(wèi)星的地面共性基礎設施，科學衛(wèi)星大數(shù)據(jù)處理系統(tǒng)需要統(tǒng)籌考慮衛(wèi)星數(shù)據(jù)產品的特性、數(shù)據(jù)處理過程的特征，以及工程任務的數(shù)據(jù)時效性和可靠性要求。從可擴展的角度考慮，如果繼續(xù)采用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)，在每次擴展新增衛(wèi)星及其有效載荷的數(shù)據(jù)處理功能時，都需改變原始處理程序的編碼，進行重新編譯和發(fā)布，不僅耗費時間與人力成本，還可能引起軟件兼容性問題。因此，亟須研制一套具有可擴展、高性能的數(shù)據(jù)處理系統(tǒng)，保證系統(tǒng)能夠靈活地對處理流程進行動態(tài)擴展，實現(xiàn)科學衛(wèi)星大數(shù)據(jù)的快速處理與質量控制要求。

本文基于“共性+衛(wèi)星專用插件”的設計理念，設計統(tǒng)一的任務調度與資源管理平臺，為各衛(wèi)星任務的專用插件提供統(tǒng)一的任務調度接口和資源調度接口，實現(xiàn)衛(wèi)星專用插件的動態(tài)配置，如圖3所示。系統(tǒng)接收科學衛(wèi)星通過各個信道下行的原始數(shù)據(jù)，采用統(tǒng)一的處理計算調度系統(tǒng)、統(tǒng)一的計算資源任務管理機制以及標準的任務調用接口和信息反饋機制，基于數(shù)據(jù)驅動的方式對各個科學衛(wèi)星的數(shù)據(jù)處理插件進行任務調度，并將生成的數(shù)據(jù)產品發(fā)送至相應的科學應用系統(tǒng)。

圖3???空間科學衛(wèi)星大數(shù)據(jù)處理系統(tǒng)框架

3.1.1 大數(shù)據(jù)處理系統(tǒng)基礎軟件架構

針對科學衛(wèi)星載荷數(shù)據(jù)處理方法多樣化、衛(wèi)星數(shù)據(jù)產品組織多源性、衛(wèi)星數(shù)據(jù)處理流程步驟環(huán)環(huán)相扣等特點，設計基于高性能計算集群以及超融合計算環(huán)境的大數(shù)據(jù)處理系統(tǒng)，采用統(tǒng)一任務與資源調度+專用業(yè)務插件擴展的架構形式；針對計算任務調度的實時性要求，采用Kafka分布式消息系統(tǒng)進行消息和日志的傳遞；針對信息查詢類的接口，設計標準的WebService服務。基礎軟件架構如圖4所示。

圖4???空間科學大數(shù)據(jù)處理系統(tǒng)架構

大數(shù)據(jù)處理系統(tǒng)最核心的功能是開展各科學衛(wèi)星的數(shù)據(jù)處理與質量分析工作，對于各類不同的衛(wèi)星專用數(shù)據(jù)處理插件以及專用衛(wèi)星數(shù)據(jù)質量分析與控制插件，各插件封裝統(tǒng)一標準的任務訂單接口以及UDP日志上報接口。

設計統(tǒng)一的數(shù)據(jù)接入接口，通過文件實體驗證機制保證數(shù)據(jù)傳輸過程的安全性和正確性。基于數(shù)據(jù)驅動的方式啟動自動數(shù)據(jù)處理流程，根據(jù)輸入的原始數(shù)據(jù)的類型調度對應的衛(wèi)星專用數(shù)據(jù)處理插件以及衛(wèi)星專用數(shù)據(jù)質量分析與控制插件，實現(xiàn)科學衛(wèi)星的各級數(shù)據(jù)產品處理、標準化產品生成、數(shù)據(jù)快視、數(shù)據(jù)質量分析以及質量控制等功能。

統(tǒng)一任務調度引擎負責對輸入數(shù)據(jù)的類型進行識別，并針對數(shù)據(jù)類型及其對應的數(shù)據(jù)處理流程發(fā)送計算任務請求，實現(xiàn)計算任務的集中式調度以及分布式并行處理。在任務調度過程中，該引擎需要統(tǒng)籌考慮各科學衛(wèi)星的數(shù)據(jù)質量信息以及過站計劃信息，并將這些動態(tài)信息作為任務調度的依據(jù)。主要原因包括以下兩點。

● 由于空間科學研究對數(shù)據(jù)產品的完整性要求非常高，地面接收站往往會進行多備份數(shù)據(jù)接收。此外，當在地面數(shù)據(jù)質量控制過程中發(fā)現(xiàn)數(shù)據(jù)存在缺失時，往往會通過點播的方式進行星上數(shù)據(jù)的回放，因此會有大量的冗余數(shù)據(jù)流入處理系統(tǒng)。依靠存儲在科學衛(wèi)星數(shù)據(jù)質量信息庫中的內容，統(tǒng)一任務調度引擎可以提前識別冗余數(shù)據(jù)，在生成任務的入口處進行截流，避免冗余數(shù)據(jù)觸發(fā)處理任務進而占用不必要的計算和存儲資源。

● 通常衛(wèi)星每日的過站計劃會提前幾天制定，并通過數(shù)傳星歷表上傳至衛(wèi)星，為了保證計算資源的實時可獲取性，當衛(wèi)星下行數(shù)據(jù)達到系統(tǒng)時能夠有足夠的資源開展數(shù)據(jù)處理任務，系統(tǒng)采用資源預約機制，基于科學衛(wèi)星過站計劃信息進行資源的提前預訂。

在數(shù)據(jù)存儲方面，為了提升緩存數(shù)據(jù)的讀寫效率以及系統(tǒng)的穩(wěn)定性，采用分布式文件系統(tǒng)實現(xiàn)多集群統(tǒng)一共享存儲。針對科學衛(wèi)星數(shù)據(jù)的組織特征建立基于標準元數(shù)據(jù)信息的高效數(shù)據(jù)存儲模型，從而提高各個插件的數(shù)據(jù)讀寫訪問速度。

3.1.2 大數(shù)據(jù)處理系統(tǒng)硬件基礎架構

衛(wèi)星大數(shù)據(jù)高性能處理系統(tǒng)硬件架構包括高性能計算集群、超融合計算環(huán)境以及分布式存儲環(huán)境3個部分，各個部分之間通過高速互聯(lián)交換機進行數(shù)據(jù)的傳輸與交換，硬件基礎架構如圖5所示。

圖5???大數(shù)據(jù)處理系統(tǒng)硬件基礎架構

高性能計算集群由資源調度管理節(jié)點和資源處理計算節(jié)點組成，其中資源調度管理節(jié)點采用雙路機架式服務器，以主/備（active/standby）方式運行；資源處理計算節(jié)點采用四路機架式服務器，根據(jù)業(yè)務應用需求通過調度管理算法實現(xiàn)硬件資源的分配管理。

超融合計算環(huán)境采用四路高性能服務器，通過部署FusionSphere虛擬化軟件對物理服務器的CPU、內存、設備I/O進行硬件解耦，從而實現(xiàn)在單一物理服務器上同時運行多個虛擬機且相互之間互不影響。

分布式存儲環(huán)境采用冗余網(wǎng)絡架構和N+M糾刪碼保護機制充分保證系統(tǒng)無單點故障，確保數(shù)據(jù)存儲的長期安全；在不同存儲節(jié)點間使用條帶化技術，將讀寫操作均勻分散到多個節(jié)點，為應用訪問提供多個并行傳輸通道，從而有效地提高了系統(tǒng)的讀寫帶寬和每秒的輸入輸出量（input/output per second，IOPS）。

3.1.3 任務類型感知的統(tǒng)一資源調度系統(tǒng)

在傳統(tǒng)的空間科學衛(wèi)星數(shù)據(jù)地面處理系統(tǒng)中，資源調度系統(tǒng)負責將數(shù)據(jù)處理子節(jié)點的CPU、內存、硬盤、I/O等資源抽象成資源池，維護管理資源池，并將資源分配給相應的數(shù)據(jù)處理任務，這種架構在空間科學大數(shù)據(jù)場景下面對多類型的衛(wèi)星數(shù)據(jù)處理任務時無法做出相應的處理，無法最大化發(fā)揮資源節(jié)點的性能，而且會影響數(shù)據(jù)處理的時效性。本文提出一種基于任務類型感知的統(tǒng)一資源調度系統(tǒng)，實現(xiàn)對上層數(shù)據(jù)處理任務的統(tǒng)一編排與管理，根據(jù)科學衛(wèi)星的數(shù)據(jù)處理任務需求場景，提供統(tǒng)一可配置的資源管理和分配策略，支持根據(jù)衛(wèi)星、數(shù)據(jù)類型設定優(yōu)先級，支持預約類型和實時類型的計算任務請求，提供松耦合和靈活的計算任務與資源的關聯(lián)關系，支持底層資源池的動態(tài)擴展，真正依據(jù)計算資源的特點做到物盡其用。任務類型感知的資源調度系統(tǒng)的架構如圖6所示，主要分為資源預約與請求接口、任務隊列、任務與資源的智能關聯(lián)匹配以及資源節(jié)點管理4個部分。

圖6???任務類型感知的資源調度系統(tǒng)架構

資源預約與請求接口主要負責向上為統(tǒng)一任務調度引擎提供資源調度接口，對申請的任務類型進行解析，并將任務發(fā)送至不同的任務隊列中，任務在隊列中等待匹配合適的計算資源。

任務隊列采用消息隊列的方式進行任務請求的解析與保存，除了配置傳統(tǒng)的計算任務隊列，還專門設計了用于保存資源預約的任務隊列，以提升重要任務響應的及時性。

任務與資源的智能關聯(lián)匹配主要負責基于請求任務類型標識和資源節(jié)點類型標識分別建立任務索引和資源節(jié)點索引，通過監(jiān)控任務隊列和資源隊列進行全局任務和資源的動態(tài)編排和調度。

資源節(jié)點管理主要負責向下管理集群資源節(jié)點，將資源節(jié)點匯聚成資源池，同時對資源節(jié)點的類型進行標注，針對不同的資源節(jié)點類型，將節(jié)點分為數(shù)據(jù)密集型節(jié)點、計算密集型節(jié)點、I/O密集型節(jié)點等不同類型的任務節(jié)點。

資源調度算法處理流程如下。

/*初始化*/

AppointmentQueue<>,IOTaskQueue<>, DataTaskQueue<>,CPUTaskQueue<>,

Resources <Nodes>

輸入：數(shù)據(jù)處理任務 NewTaskOrder

/*接收并解析數(shù)據(jù)處理任務*/

taskType = NewTaskOrder.type();

if (taskType == appointment) then/*預約任務*/

InsertAppintQueue(NewTaskOrd er)

else if(taskType == IOtype) then

InsertIOQueue(NewTaskOrder)

else if (taskType == DataType) then

InsertDataQueue(NewTaskOrder)

else

InsertCPUQueue(NewTaskOrder)

end if

/**預約資源**/

MakeAppoint(AppointmentQueue<>, Resources<>)

/*更新資源狀態(tài)，并獲取可用計算資源*/

AvailableResource<> = Update (Resources<>)

/**分配資源**/

for i=0 to i< AvailableResource.size()-1 do:

node = AvailableResource (i); /*獲取可用資源*/

/*將各種類型的資源匹配到對應的任務隊列上 */

if (node.type == IOtype ＆＆ ! IOTaskQueue.empty())

node.execute(IOTaskQueue.getTask())

if(node.type == DataType ＆＆ ! DataTaskQueue.empty())

node.execute(DataTaskQueue.getTask())

if (node.type == CPUType ＆＆!CPUTaskQueue.empty())

node.executre(CPUTaskQueue.getTask())

else

/*如果各類任務和資源沒有完全匹配，則將可用資源分配給其他類型的任務*/unmatchTask = FindWaitingTask (IOTaskQueue, CPUTaskQueue, DataTaskQueue)

node.execute(unmatchTask)

end for

3.2 系統(tǒng)實現(xiàn)

基于高性能服務器集群和超融合計算環(huán)境建設的可擴展高性能地面數(shù)據(jù)處理系統(tǒng)成功地支持了中國科學院空間科學先導專項多顆空間科學衛(wèi)星的海量原始數(shù)據(jù)的集中處理，系統(tǒng)的數(shù)據(jù)處理效率能夠滿足各科學工程的性能指標要求。作為空間科學衛(wèi)星地面共性基礎設施，該系統(tǒng)支持動態(tài)擴展，可基于大數(shù)據(jù)共性基礎平臺滿足后續(xù)空間科學衛(wèi)星的數(shù)據(jù)產品處理及產品組織需求。目前該系統(tǒng)通過Apache+Tomcat搭建系統(tǒng)整體業(yè)務監(jiān)管界面，通過Kafka消息隊列實現(xiàn)處理類、數(shù)據(jù)管理類以及數(shù)據(jù)服務類的狀態(tài)消息實時上報，對系統(tǒng)內開展的各類數(shù)據(jù)處理、數(shù)據(jù)管理和分發(fā)等活動進行實時監(jiān)視，依據(jù)輸入數(shù)據(jù)為運行流程設計唯一標識符，從而可以對從輸入開始一直到生產各類數(shù)據(jù)產品并對外提供服務的整個過程進行跟蹤，如圖7所示。

圖7???系統(tǒng)綜合業(yè)務展示

該系統(tǒng)通過標準的任務訂單接口和任務調度調度接口，集成了多顆科學衛(wèi)星的數(shù)據(jù)處理與產品生產、數(shù)據(jù)質量分析與評估等幾十類算法模塊，采用標準WebService接口實現(xiàn)了對外接口服務，任務調度時延小于1 s。多星多任務調度平臺如圖8所示。

圖8???多星多任務調度平臺

目前系統(tǒng)運行穩(wěn)定，支撐著5顆在軌科學衛(wèi)星的數(shù)據(jù)處理。系統(tǒng)每日處理的數(shù)據(jù)量約103 GB，輸出的數(shù)據(jù)產品數(shù)量約364 GB。系統(tǒng)將每次數(shù)傳下行處理的數(shù)據(jù)產品自動準實時地發(fā)送至各衛(wèi)星科學應用系統(tǒng)，有效地支持了HXMT衛(wèi)星、暗物質粒子探測衛(wèi)星以及墨子號量子科學實驗衛(wèi)星科學成果的發(fā)現(xiàn)。

4 結束語

面對空間科學后續(xù)衛(wèi)星探測數(shù)據(jù)量大幅增加，數(shù)據(jù)處理過程更加復雜，處理耗時增加與天文警報數(shù)據(jù)超高時效性要求的趨勢，有待在系統(tǒng)自動化的基礎上進一步研究智能化技術和流式數(shù)據(jù)處理技術，以大幅改善系統(tǒng)的多任務并行處理能力。針對多類型任務調度引擎的兼容性和可擴展性，需進一步優(yōu)化資源統(tǒng)一調度接口，采用輕量化容器技術增強代碼遷移的能力。未來還將開展共性數(shù)據(jù)處理算法的抽象工作，增加共性數(shù)據(jù)處理工具集，降低擴展新衛(wèi)星任務帶來的成本。

作者簡介

馬福利（1986-），男，中國科學院國家空間科學中心高級工程師，主要研究方向為衛(wèi)星地面數(shù)據(jù)處理技術、大數(shù)據(jù)計算與存儲技術。

石濤（1982-），男，中國科學院空天信息創(chuàng)新研究院副研究員，主要研究方向為衛(wèi)星地面數(shù)據(jù)處理技術和衛(wèi)星數(shù)據(jù)地面處理系統(tǒng)。

陳玲（1987-），女，中國科學院國家空間科學中心項目高級工程師，主要研究方向為衛(wèi)星地面數(shù)據(jù)處理技術。

鄭巖（1983-），男，中國科學院國家空間科學中心高級工程師，主要研究方向為大數(shù)據(jù)環(huán)境下的融合計算存儲技術和通信網(wǎng)絡技術。

熊森林（1988-），男，博士，中國科學院國家空間科學中心助理研究員，主要研究方向為空間物理學、衛(wèi)星地面數(shù)據(jù)處理與管理技術。

聯(lián)系我們:

Tel:010-81055448

? ? ? ?010-81055490

? ? ? ?010-81055534

E-mail:bdr@bjxintong.com.cn?

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

轉載、合作：010-81055537

大數(shù)據(jù)期刊

《大數(shù)據(jù)（Big Data Research，BDR）》雙月刊是由中華人民共和國工業(yè)和信息化部主管，人民郵電出版社主辦，中國計算機學會大數(shù)據(jù)專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，并被評為2018年、2019年國家哲學社會科學文獻中心學術期刊數(shù)據(jù)庫“綜合性人文社會科學”學科最受歡迎期刊。

關注《大數(shù)據(jù)》期刊微信公眾號，獲取更多內容

總結

以上是生活随笔為你收集整理的面向多星多任务的大数据处理系统设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。