「拓数派(OpenPie)2022 发布会实录 」PieCloudDB Database 社区版与商业版产品总览
10 月 24 日對于程序員是個很特別的日子,對拓數派(Openpie)所有的員工來說也是令人激動人心的一天。在這一天,拓數派發布了云原生數據庫 PieCloudDB 社區版與商業版。 ?PieCloudDB 歷經 1 年多的研發,對數據庫內核幾乎所有的模塊都進行了大量的代碼改動,以云計算架構為設計基礎,全面擺脫 PC 架構束縛,實現存算分離,做到了” 真正” 的彈性。此外還搭建了生態工具以及云原生平臺,研發工程量巨大。本文整理自拓數派 CTO 郭罡在拓數派 2022 發布會的演講,將為大家著重介紹 PieCloudDB 的產品總覽。
傳統分布式 MPP 架構的痛點
MPP(Massive Parallel Processing,大規模并行處理),一直被譽為當今數據庫的主流架構,被廣泛用于眾多數據庫產品中,包括 Greenplum、Teradata、Vertica 等。 MPP 數據庫集群有可擴展性、高可用性、高性能等眾多優勢。MPP 數據庫的誕生解決了單個 SQL 數據庫無法存放海量數據,很難在一臺物理機器上完成分析需求的難題。但傳統 MPP 數據架構也存在一些痛點:
- 缺乏彈性
傳統 MPP 數據庫的計算與存儲是緊密耦合的。用戶在負載高峰時,常常需要快速運行一個分析結果,此時往往需要更多的計算資源,而傳統 MPP 數據庫的架構無法通過擴容(或者擴容成本高昂)來實現,缺乏彈性。
- 木桶效應
傳統 MPP 數據庫架構存在” 木桶效應”。數據庫整體執行速度取決于最” 短板” 單機(Straggler)的性能,此外單機故障會” 拖垮” 整個數據庫的性能,導致查詢速度變慢。典型的案例就是,一個集群在運行一段時間后需要擴容時,新的擴容節點更快,但是由于木桶效應,新的機器資源并沒有全部用上。
- 成本高昂
數據庫用戶一般都會采用固定的集群數來滿足彈性的業務需求,因此大多數情況下集群都會選擇” 超配”,以滿足可能出現的業務” 峰值”。我們經常發現客戶的集群的資源利用率很低。這些集群也會給用戶帶來高昂的成本。
- 數據孤島
隨著業務的發展,數據量的增加,和信息化建設的需求,企業會為不同部門建設相應的業務信息化系統。MPP 集群是彼此獨立的,不管是元數據還是用戶的數據都是孤立隔離開的。很多傳統 MPP 數據庫會采用聯邦查詢的方式來訪問彼此隔離的數據。但聯邦查詢常常會存在性能問題,跨集群的寫入也不友好。數據聯邦并不是一個好的解決方案。
- 運維成本
由于傳統 MPP 數據庫架構存儲和計算的緊密耦合,往往需要企業花費巨大的運維和時間成本。繁瑣的操作也會引入一些額外的運維成本,包括系統運維、數據庫運維等。
PieCloudDB 團隊 打造的 eMPP 架構能夠完美解決這些問題。eMPP 的含義是 elastic MPP(?elastic Massive Parallel Processing,彈性大規模并行計算),指彈性的計算資源資源,可以支持計算橫向和縱向的極速伸縮。eMPP 架構使?PieCloudDB?用戶數據和元數據共享,并具有 MPP 的所有優勢,包括分布式計算,海量數據并行處理等。
上云≠云原生
討論云原生之前,先來了解一下” 云”。云平臺能為數據庫提供兩大優勢:云上的分布式存儲和云上的虛擬化技術。
云上的存儲容量理論上是無限的。借助云上的分布式存儲,用戶無需考慮因存儲容量而需要的擴容和縮容操作。借助云上的虛擬化技術以及基于這種技術的 IaaS 產品,PieCloudDB 做到了解耦計算,從而實現了資源的池化,使得用戶能夠按需使用存儲或者計算資源。
如今,隨著云計算技術的發展,基礎軟件,尤其是數據庫產品,不管是國內或是國外,上云已經是大勢所趨。數據庫上云后,用戶可以專注于使用,將運維工作交給云廠商。
上云并不等于云原生。“云原生” 是由?PaaS 云第一股 Pivotal?公司提出的概念。一款云原生數據庫需要滿足三個條件:存算分離彈性計算、多租戶和智能化云原生平臺。產品需要能夠支持存儲資源和計算資源的分離,能夠快速的進行資源彈性伸縮,每個租戶可以根據需求彈性擴展計算和存儲資源。此外,云原生數據庫需要提供給用戶一個智能化的云原生平臺,讓用戶能用云原生的方式來使用產品。PieCloudDB 作為一款云原生數據庫滿足了上述的所有優勢。
什么是 PieCloudDB?
PieCloudDB 是一款 eMPP 云原生分布式數據庫,具備了 MPP 所有的優勢,還具備了傳統 MPP 數據庫所沒有的真正的” 彈性”。彈性是云原生的一個基本屬性,但我們的目標不限于此,我們希望將 PieCloudDB 打造成一個為用戶帶來優質體驗的實時大數據平臺。
?PieCloudDB 突破了 PC 時代計算平臺的限制,重新打造云上的數據庫內核,對幾乎所有的內核模塊做了大量創新。PieCloudDB 內核團隊具有強大的數據庫內核代碼構建能力和經驗,突破式創新了 eMPP(elastic Massive Parallel Processing)分布式技術。
PieCloudDB 的架構圖非常的簡潔優雅。中間的虛擬數倉是彈性計算層。元數據和用戶的數據是可以共享的。
PieCloudDB 核心團隊在基礎軟件領域工作十余年,有著豐富的企業級客戶經驗。面對紛繁復雜的數據庫市場,PieCloudDB 團隊一直在思考什么才是一款好的數據庫產品。PieCloudDB 團隊總結多年的經驗,總結出一款好的基礎軟件,特別是數據庫產品需要包括四個特性,這也是 PieCloudDB 在產品設計過程中所遵循的原則。
- 安全可靠
第一個特性可以被拆解為兩個方面:安全和可靠。“安全”?包括數據存儲和訪問安全。在數據存儲方面,PieCloudDB 采用一系列的數據安全加密技術,來確保用戶數據的安全性。而訪問安全方面,PieCloudDB 在權限控制和網絡安全上也為用戶提供了眾多特性。此外,研發團隊在 PieCloudDB 的代碼實現上,也非常注意安全編程,盡量避免漏洞。
“可靠”?是指產品的穩定。一款優秀的數據庫產品需要為上層應用提供穩定的服務,即使出現故障,也需要做到用戶無感知,不會影響用戶的日常業務,更不會出現數據損壞或丟失之類嚴重的場景。
- 使用簡單
第二個特性是使用簡單。這一特性是從用戶的角度來設計產品,避免讓用戶用” 極客” 的思維來使用產品,做到開箱即用簡單上手。作為一款云原生產品,我們的操作平臺也是云原生的,用可視化的界面來幫助用戶更便捷的使用 PieCloudDB。
- 功能齊全
PieCloudDB 需要能夠提供豐富的功能。大數據的底層趨勢是使用 SQL,PieCloudDB 完全支持 ACID 事務,高度兼容 SQL:2016 標準,完全支持 SQL:1992 標準、大部分的 SQL:1999 和部分 SQL:2003 標準(主要支持其中的 OLAP 特性),支持包括窗函數、聚集、數據立方體等重要功能。此外還具有友好的用戶接口,包括 ODBC、JDBC、Websql 等。PieCloudDB 將對相關生態組件和工具支持齊全,目前 PieCloudDB 完美兼容 PostgreSQL 生態,很多 PostgreSQL 生態應用能夠輕松接入 PieCloudDB 系統。
- 性能極致
PieCloudDB 為了用戶的使用體驗,已經進行了大量的性能優化。有些優化可以提供數量級別的性能提升。在后面的版本中,PieCloudDB 將在未來的版本中不斷迭代,為用戶帶來更極致的性能。
在 PieCloudDB 社區版與商業版發布后,我們將持續迭代,不斷創新,為用戶帶來更多的價值。
?
總結
以上是生活随笔為你收集整理的「拓数派(OpenPie)2022 发布会实录 」PieCloudDB Database 社区版与商业版产品总览的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: STM32工程文件的建立以及Keil软件
- 下一篇: 2018年前端笔试高频题精选(二)