分布式,集中式,云原生存储技术
分布式,集中式,云原生存儲技術
分布式存儲軟件是真正的統一存儲,實現同一套存儲系統為上層應用提供塊、文件和對象三種數據服務,滿足業務對結構化和非結構化數據的存放需求,內置數據保護功能,例如:備份、容災等,分布式存儲提供多種企業級特性,包括快照、精簡配置、備份、加密、壓縮、QoS等,幫助企業輕松應對業務快速變化時的信息靈活、可靠存取的需求。
架構師技術聯盟的文章
https://mp.weixin.qq.com/s/s1zE7p9BXxFlKXCK71n_KA
產品特點
云企業級統一分布式存儲
資源共享:
可以承接用戶的各種形態的數據,為用戶實現了統一存儲資源管理,打破硬件鎖定,數據可以在資源池中均衡分布,簡化持久保護設計,全面發掘既有數據的潛在價值。
彈性擴展:
作為多種云平臺和非結構化數據、大數據平臺的后端存儲載體,能夠實現從單資源池數臺到數百臺的不停機水平擴展,可視化管理且運維簡單,內置數據保護,適配用戶業務創新的快速響應需求。
多云友好:
真正的統一存儲,實現了同一套存儲系統為上層應用提供塊、文件和對象三種數據服務。并支持將數據保護至多種公有云,提升數據的可達性和流動性。
什么是單機、集中式、分布式和云原生存儲?
存儲發展史
從單機到互聯網,存儲作為的基礎設施,主要發展都是圍繞構建低成本、高性能、可擴展、易用的目標進行演進,時至今日,在形態上存儲分為單機存儲、集中存儲、分布式存儲、云存儲、云原生存儲。
各階段存儲的基本形態如下
各階段基本形態
存儲數據分類 & 模型
無論單機存儲、分布式存儲、云存儲都是基于特定應用場景下,對指定數據類型構建對應的存儲數據模型
數據分類
數據模型
存儲類型
常見三種存儲類型:塊存儲、文件存儲、對象存儲
塊存儲
基于Block塊的存儲模式,兩種常見存儲方式:
? DAS(Direct Attch Storage), 直連主機存儲方式
? SAN (Storage Area Netowrk),高速網絡鏈接主機存儲方式
文件存儲
依附網絡提供文件存儲服務
對象存儲
構建于鍵值存儲,核心是將數據通路(data)和控制通路(meta)分離,并且基于對象存儲設備(Object-based Storage Device,OSD)構建存儲系統,對外以RSETful API形式服務
單機存儲
基本概念
單機存儲系統是單機存儲引擎(數據結構在機械磁盤、SSD等持久化介質上的實現)的一種封裝,對外提供文件、鍵值、表格或者關系模型的存儲服務。
存儲引擎
存儲引擎是存儲系統的發動機,決定了存儲系統能夠提供的功能和性能, 提供功能包含:
? 增加(Create)
? 讀取(Retrieve),隨機讀取和順序掃描
? 更新(Update)
? 刪除(Delete
引擎間差異如下:
集中式存儲
基本概念
集中式存儲相對與單機存儲而言,存儲系統中包含了更多組件,除了機頭(控制器)、磁盤陣列(JBOD)和交換機等設備外,還有管理設備等輔助設備。
參考:集中式存儲的基本邏輯示意圖
系統構成
? 機頭,整個存儲系統的核心部件,通常由控制器、前后端口組成,
? 控制器,通常有二,實現互備高可用,控制器中的軟件實現對磁盤的管理,將磁盤抽象化為存儲資源池,然后劃分為LUN提供給服務器使用。
? 前后端口,前端端口用戶為服務器提供存儲服務,后端端口用于擴充存儲系統的容量(連接更多的存儲設備)。
? 磁盤柜(Just a Bound Of Disk , JBOD),磁盤掛在服務器外的專用柜里,有獨立電源、散熱、接口等,內部線纜相連(SCSI),對機頭后端端口統一掛載。
分布式存儲
基本概念
分布式存儲系統,是將分散獨立的存儲設備通過網絡互聯,系統關聯,對外作為一個整體提供存儲服務。
系統分類
? 分布式文件系統
? 分布式鍵值系統
? 分布式表格系統
? 分布式數據庫
設計原則
? 參考CAP
云存儲
基本概念
云存儲,一種云計算領域存儲服務方式,底層構建在分布式存儲基礎之上,上層通過Internet形式提供存儲服務,除具備分布式存儲基礎特性外,更兼具靈活性,通常由云廠商提供。
參考產品
云原生存儲
基本概念
云原生存儲脫胎于云存儲,除云存儲的特性外、須滿足具備云原生生態系統中其他所有組件具備相同的動態(公共云/專有云/混合云等場景)構建可擴展應用、S3 API 驅動、K8S友好等。
參考示例
Rook
CNCF首個云原生存儲項目Rook,將文件、數據塊和對象存儲系統引入到Kubernetes集群,與其他正在使用存儲的應用程序和服務一起無縫運行。通過這種方式,云原生集群可以在公有云和本地部署中自給自足并且具備可移植性。該項目的開發目的是使企業能夠通過動態應用編排,為在本地和公有云環境中運行的分布式存儲系統實現數據中心現代化。
Rook Architecure
Ceph Rook integrates with Kubernetes
MinIO
MinIO是一款高性能、軟件定義的,對象存儲套件,幫助客戶構建云原生數據基礎設施。可與 Kubernetes 集成,允許操作員使用 Kubernetes 界面管理存儲,Kubernetes 可以處理從存儲提供到卷放置的所有事務。
參考鏈接
https://mp.weixin.qq.com/s/s1zE7p9BXxFlKXCK71n_KA
https://www.archeros.com/nav/893?bd_vid=12014986870130961076
總結
以上是生活随笔為你收集整理的分布式,集中式,云原生存储技术的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 自动驾驶公司尴尬处境
- 下一篇: 智能驾驶计算平台算力技术