阿里云时空数据库引擎HBase Ganos上线,场景、功能、优势全解析
2019獨角獸企業重金招聘Python工程師標準>>>
隨著全球衛星導航定位系統、傳感網、移動互聯網、IoT等技術的快速發展,越來越多的終端設備連接至網絡,由此產生了大規模的時空位置信息,如車輛軌跡、個人軌跡、群體活動、可穿戴設備時空位置等。這些數據具有動態變化(數據寫入頻繁)、時空多維、規模巨大、價值隨時間推移而衰減、空間搜索和時序查詢相結合等特征,這對傳統數據庫帶來了新的挑戰。
2018年12月13日,伴隨阿里云HBase全新發布X-Pack全托管NoSQL數據庫平臺,HBase Ganos時空數據庫引擎正式上線。Ganos取名于大地女神蓋亞(Gaea)和時間之神柯羅諾斯(Chronos),代表著“時空” 結合。HBase Ganos以阿里云飛天操作系統為強大底座,結合云HBase新一代KV、時序、時空、圖多模數據綜合處理能力以及云上Spark大數據分析計算服務,為迎接在線時空全量大數據應用構筑PaaS(Platform-as-a-Service)平臺能力。
1、適用場景舉例
互聯網出行
互聯網出行涉及到運力的調度、拼車、供需預測、熱力圖等業務。以供需預測為例,基于對歷史軌跡數據的分析,并結合實時訂單數據,預測當前訂單密集區域的分布,提高接單概率并減少司機空駛時間。這背后涉及到大量時空型數據和業務信息的快速讀取,并結合業務算法進行預測,利用HBase Ganos可有力支持該業務場景。
IoT
IoT行業產生的數據兼具時序和空間特征。以車聯網為例,海量的車輛終端在不斷地產生軌跡數據,軌跡數據包含了時間和空間位置。利用HBase Ganos,實時監測車輛的行駛軌跡、是否偏航、是否進入某個限制區域等。除了實時監控外,還可以進行實時時空查詢,如查詢某段時間的軌跡,某段時間進入該區域的車輛等。結合大數據分析框架(如Spark)還可以進行穿越分析、區域分布熱力圖等。
智慧物流與外賣遞送
在物流與外賣等領域,需要實時監控車輛、騎手的位置,以便進行可靠的時間預測等服務。車輛和騎手的位置需要實時上報,云端需要處理高并發寫入并進行實時路徑規劃、偏航監測等計算,背后都需要大量的時空計算。?
傳感網與實時GIS
在環保、氣象、水利、航空監測等領域,需要通過各種傳感器獲取天、空、地、海不同地理現象、事件、要素的全生命周期多尺度監測指標,比如污染監測、水位監測、降雨量監測、航標監測等。HBase Ganos可以為構建實時GIS大數據應用提供穩定、可靠、彈性、免運維的PaaS服務,為地理國情常態化監測和智慧城市建設提供基礎平臺。
2、HBase Ganos主要功能與特性
PB級時空數據存儲與高并發寫入
基于阿里云HBase存儲計算分離和完全分布式系統架構, Ganos引擎可支撐TB-PB級時空數據的存儲與管理需求,且存儲節點可彈性擴展。針對GNSS、傳感網、移動APP等千萬甚至上億終端的數據采集,HBase Ganos在提供高效時空索引的同時,結合HBase LSM模型,可滿足高并發數據寫入需求,其中一個最小的HBase Ganos集群節點寫入速度可達到數十萬QPS,數據規模可達千億記錄級別。
遵循OpenGIS標準規范,支持多種空間數據類型與訪問接口
引擎遵循OpenGIS標準規范,支持完備的時空點、線、面等常用數據結構,這些數據結構可對應于現實中的POI興趣點、道路與車輛軌跡、地理圍欄等。常見的地理圍欄判斷、軌跡數據查詢與計算、空間搜索等均可完美支持。接口層面上,提供了多種訪問方式,包括基于GeoTools API的訪問、支持GeoJson作為時空數據結構的REST API、以及即將推出的GeoSQL支持,可最大程度兼容不同用戶需求。
高效的時空索引與算法分析包
引擎以Z-Order、Hilbert等空間填充曲線為基礎,支持二維和三維時空索引,百億量級的時空條件查詢可到秒級,完全能夠滿足海量時空數據的在線處理業務需求。此外,針對常用的時空分析場景,引擎在HBase中內嵌了軌跡抽稀、軌跡相似度計算、密度圖等分析算法包,可充分利用HBase協處理器等技術帶來的并行優勢,加快查詢性能、減輕業務層代碼量。
結合流式計算引擎支撐實時大數據處理
為了滿足對實時數據分析計算需求,HBase Ganos流數據處理框架基于Lambda架構設計開發,融合了不可變性、復雜性隔離和讀寫分離等一系原則,具備低延時、高容錯、易于擴展等特性。數據接入層面,支持Kafka等消息中間件的實時接入,將基于事件的數據流直接轉換到內部數據源。數據分析層面,與Spark Streaming或Flink流數據引擎無縫集成,具備了實時地在任意大數據集上進行數據流查詢分析的能力,幫助用戶隨時隨地快速準確地應對復雜的實時數據處理場景。
3、云上大規模時空數據處理的優勢
K-V、時序、時空、圖多模型(Multi-Model)助力綜合業務場景建模
對于互聯網和政企客戶而言,時空場景雖然是一種重要業務類型,但要支撐好復雜業務系統開發,更多時候需要具備多模型支撐能力。針對這類業務系統,阿里云HBase X-Pack提供了強大的多模式處理能力,不僅支持時空,還支持K-V、時序和圖模型等,每一類模型都內置有豐富數據處理能力。Ganos作為其中的時空數據引擎,能夠與其他引擎結合,做到開箱即用,滿足用戶多維度的查詢分析需求,讓業務開發效率大幅提升。?
冷熱混合存儲,助你不改代碼,1/3成本輕松搞定冷數據處理
時空大數據應用場景下,存儲成本占比往往是大頭,把存儲成本降下來,整體成本才能下降。針對時空數據的價值隨時間而衰減的特性,提供了將訪問量極少,訪問延遲要求不高的歷史數據按規則(比如一個月之前的數據)自動轉儲到阿里云OSS冷存儲介質中,其存儲成本可下降為高效云盤的1/3,寫入性能與云盤相當,并能保證數據隨時可讀,從而降低存儲成本,基本不用改代碼就獲得了低成本存儲能力。
全托管,全面解放運維,為業務穩定保駕護航
大數據應用往往涉及組件多、系統龐雜、開源與自研混合,因此維護升級困難,穩定性風險極高。云HBase Ganos提供的全托管服務相比其他的半托管服務以及用戶自建存在天然的優勢。依托持續8年在內核和管控平臺的研發,以及大量配套的監控工具、跨可用區、跨域容災多活方案,Ganos的底層核心阿里云HBase提供目前業界最高的4個9的可用性(雙集群),11個9的可靠性的高SLA的支持,滿足眾多政企客戶對平臺高可用、穩定性的訴求。
4、HBase Ganos實操使用途徑
Ganos時空引擎包含SQL版和NoSQL版,此次發布的HBase Ganos為NoSQL版,主要服務于在線全量時空大數據應用。引擎包含在HBase 2.0版本中,用戶在購買云上HBase數據庫服務時,可以選擇Ganos作為其時空引擎。Ganos引擎本身并不額外收費,這對于需要使用GIS或時空大數據功能的用戶而言,將大幅降低應用和開發成本。Ganos將逐步沉淀基礎時空云計云計算基礎平臺,賦能ISV廠商,推動時空云計算作為數字化轉型的基礎引擎普惠到更多客戶。
原文鏈接
轉載于:https://my.oschina.net/u/1464083/blog/2991512
總結
以上是生活随笔為你收集整理的阿里云时空数据库引擎HBase Ganos上线,场景、功能、优势全解析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: button对象
- 下一篇: ES 自动恢复分片的时候不恢复了是磁盘超