VSAN超融合笔记
VMware VSAN
- VMware vSAN是一款軟件定義的企業(yè)存儲解決方案,支持超融合基礎(chǔ)架構(gòu)(Hyper-Converged Infrastructure,HCI)系統(tǒng)。VSAN使用軟件定義的方法為虛擬機創(chuàng)建共享存儲。可以虛擬化ESXI主機的本地物理存儲資源,并將這些資源轉(zhuǎn)化為存儲池。
- VSAN與VMware vSphere完全集成在一起,作為ESXI管理程序內(nèi)的分布式軟件層。
相較于cisco的HyperFlex,他只能用在ESXI上。
標(biāo)準(zhǔn)VSAN集群 - 一個標(biāo)準(zhǔn)的VSAN集群至少包括三個主機,最多可擴展到64節(jié)點。通常情況下,標(biāo)準(zhǔn)vSAN集群中的所有主機都位于同一位置,VSAN網(wǎng)絡(luò)在相同的2層網(wǎng)絡(luò)上連接,推薦使用至少10Gb網(wǎng)絡(luò)進行數(shù)據(jù)同步。
常見VSAN組網(wǎng)架構(gòu)
VSAN術(shù)語及定義 - VSAN使用磁盤組這一概念將閃存設(shè)備和磁盤作為管理單元
- 磁盤組至少包括1個閃存設(shè)備和1個磁盤
- 每臺主機最多5個磁盤組
- 每個磁盤組:1個SSD + 1至7個HDD/SSD - 閃存設(shè)備用于提供性能(讀緩存+寫緩沖區(qū))70%讀、30%寫
- 磁盤用于提供存儲容量
- 不能在沒有閃存設(shè)備的情況下創(chuàng)建磁盤組
- 所有硬盤必須采用直通或RAID0模式連接。
- VSAN是一種以文件系統(tǒng)(VSAN FS)的形式呈現(xiàn)給vsphere的對象存儲解決方案。該對象存儲裝載著集群中主機的存儲資源,并將它們呈現(xiàn)為一整個共享數(shù)據(jù)存儲(vsandatastore)。僅限該集群的成員才能訪問vsan數(shù)據(jù)存儲,但并非所有主機都需要提供存儲。
在vsan數(shù)據(jù)存儲上,組成虛擬機的項目表示為對象。常見對象類型有虛擬機主目錄(包含虛擬配置文件和日志,如VMX文件)、虛擬磁盤(VMDK)、增量磁盤(快照)等。
- 每個對象由一組組件組成,基于虛擬機存儲配置文件中定義的性能和可用性要求劃分。必要時,VSAN也可以將大型對象分成多個組件。組建跨集群中的多臺主機分布,以便容許同時發(fā)生多個故障并滿足性能要求。
- VSAN利用分布式RAID體系結(jié)構(gòu)將數(shù)據(jù)分發(fā)到整個集群中。組件分布主要采用兩種技術(shù):鏡像(分布鏡像)(RAID1)、條帶化(磁盤陣列分割)(RAID0)
- VSAN默認(rèn)存儲策略的條帶數(shù)為1,最大支持條帶數(shù)為12,建議使用默認(rèn)值。
條帶化&RAID
條帶化技術(shù),一種自動將I/O的負(fù)載均衡到多個物理磁盤上的技術(shù),將一塊連續(xù)的數(shù)據(jù)分成很多小部分并把他們分別存儲到不同磁盤上去。當(dāng)多個進程同時訪問數(shù)據(jù)的多個不同部分時不會造成磁盤沖突,而且在需要對這種數(shù)據(jù)進行順序訪問的時候可以獲得最大程度上的I/O并行能力,從而獲得非常好的性能。 - RAID通過硬盤的條帶化將硬盤空間分為一定大小的多個條帶,數(shù)據(jù)寫入時按條帶大小劃分?jǐn)?shù)據(jù)模塊。RAID的數(shù)據(jù)保護方式有鏡像和奇偶校驗法兩種。
- 常見的RAID級別如下:
- RAID0:無校驗冗余,一組硬盤組成一個邏輯大硬盤(JBOD)
- RAID1:無校驗,數(shù)據(jù)鏡像,理論上最多同時損壞一半硬盤
- RAID5:有一塊盤空間大小的校驗信息,分布式存放在各個硬盤中,同時可以損壞1塊硬盤
- RAID6:有兩塊盤空間大小的校驗信息,分布式存放在各個硬盤中,同時可以損壞2塊硬盤
VSAN術(shù)語與定義
- 故障域,代表故障影響的服務(wù)器區(qū)域范圍,每個主機都是一個隱性故障域。
- FTT,Number of Failures to Tolerate(容許的故障數(shù)),代表能容許出現(xiàn)問題的故障域數(shù)量,最大值為3。
- 如果FTT=N,則所需副本數(shù)=N+1,見證數(shù)=N,故障域數(shù)=2*N+1
- 可以基于虛擬機選擇不同副本的存儲策略
不同容錯方法磁盤利用率對比
使用糾刪碼可以提高磁盤利用率,但是會少量犧牲一定的性能。
RAID5 (3+1配置)
每個條帶3個數(shù)據(jù)片段和1個奇偶校驗片段
RAID6 (4+2配置)
4個數(shù)據(jù)片段;1個奇偶校驗和每個條帶1個附加校驗
VSAN寫分析
1.虛擬機發(fā)出對象寫請求
2.虛擬機所在宿主機根據(jù)VSAN storage policy定義的FTT=1,合計克隆2份寫的I/O請求
3.esxi-01和esxi-02同步將對方寫入閃存(在各自的log上)
4.esxi-01和esxi-02向宿主機發(fā)出ACK-prepare operation
5.宿主機收到ACK,完成一次寫的IO操作
6.對象落盤到容量層(不一定同時發(fā)生,可能和其他寫IO合并)
VSAN讀分析
1.虛擬機發(fā)出對象讀請求
2.虛擬機所在宿主機選擇從一份副本中讀
所有副本的讀操作是負(fù)載均衡的,不一定要從本地副本讀
3.假設(shè)從esxi-02讀取對象,如果緩存中有,從緩存中讀取
4.如果緩存中沒有,從容量層讀取,并替換緩存中的“冷數(shù)據(jù)”(只針對混合模式)
5.將讀取的對象數(shù)據(jù)發(fā)送給宿主機
6.虛擬機收到讀取的對象數(shù)據(jù)
VMware VSAN部署實施
物理連線示意圖
實施前準(zhǔn)備
- 信息規(guī)劃,包括設(shè)備連線表,服務(wù)器帶外管理地址,ESXI系統(tǒng)管理地址及VSAN地址、vcenter名稱地址信息表等。
- 軟件下載,VMware官網(wǎng)下載VCS&ESXI
- 確認(rèn)DNS及NTP服務(wù)器狀態(tài)
- 完成網(wǎng)絡(luò)設(shè)備相關(guān)配置
部署實施
- 安裝ESXI
- 登錄服務(wù)器帶外管理平臺,掛載ISO安裝鏡像,通過虛擬軟盤啟動
根據(jù)指引界面完成安裝流程,過程中完成選擇系統(tǒng)安裝盤,設(shè)置root密碼等設(shè)置。
重啟完成后,配置ESXI管理地址
(vcenter安裝略)
登錄vcenter,新建集群,添加主機
在每臺主機上配置VSAN網(wǎng)絡(luò)
添加標(biāo)準(zhǔn)交換機,選擇VSAN流量的上聯(lián)網(wǎng)卡
添加vmk網(wǎng)絡(luò),設(shè)置VSAN地址
默認(rèn)的vmk0,管理網(wǎng)絡(luò)
配置VSAN
總結(jié)
- 上一篇: 从App Store的评分,再看钉钉、企
- 下一篇: 浅析 vSAN 磁盘组架构和缓存盘的“消