如何构建GFS分布式存储平台？理论+实操！
生活随笔
收集整理的這篇文章主要介紹了
如何构建GFS分布式存储平台？理论+实操！
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
如何構(gòu)建GFS分布式存儲(chǔ)平臺(tái)？理論+實(shí)操！
- 一、GlusterFS簡(jiǎn)介
- 1、GlusterFS的概念
- 2、GlusterFS特點(diǎn)
- 3、GlusterFS術(shù)語
- 4、GlusterFS的工作流程
- 5、GFS支持的七種卷
- 分布式卷（默認(rèn)）
- 條帶卷（默認(rèn)）
- 復(fù)制卷（Replica volume）
- 分布式條帶卷（Distribute Stripe volume）
- 分布式復(fù)制卷（Distribute Replica volume）
- 條帶復(fù)制卷（Stripe Replca volume）
- 分布式條帶復(fù)制卷（Distribute Stripe Replicavolume）
- 二、相關(guān)維護(hù)命令
- 三、模擬實(shí)驗(yàn)——部署 GlusterFS 群集
- 1、節(jié)點(diǎn)進(jìn)行磁盤分區(qū)、掛載
- 2、配置/etc/hosts文件
- 3、安裝、啟動(dòng)GlusterFS
- 4、添加節(jié)點(diǎn)創(chuàng)建集群
- 5、根據(jù)規(guī)劃創(chuàng)建卷
- （1）創(chuàng)建分布式卷
- （2）創(chuàng)建條帶卷
- （3）創(chuàng)建復(fù)制卷
- （4）創(chuàng)建分布式條帶卷
- （5）創(chuàng)建分布式復(fù)制卷
- 6、部署gluster客戶端
- 7、測(cè)試 Gluster 文件系統(tǒng)
- 8、查看文件分布
- （1）查看分布式文件分布
- （2）查看條帶卷文件分布
- （3）查看復(fù)制卷文件分布
- （4）查看分布式條帶卷分布
- （5）查看分布式復(fù)制卷分布
- 四、冗余測(cè)試
- 1、分布式卷
- 2、條帶卷
- 3、分布式條帶卷
- 4、分布式復(fù)制卷
- 5、復(fù)制卷
- 總結(jié)
一、GlusterFS簡(jiǎn)介
1、GlusterFS的概念
GlusterFS：開源的分布式文件系統(tǒng)
- 組成：
- 存儲(chǔ)服務(wù)器
- 客戶端
- NFS/Samba 存儲(chǔ)網(wǎng)關(guān)
- 無元數(shù)據(jù)服務(wù)器
- 數(shù)據(jù)分散存儲(chǔ)
- 可避免出現(xiàn)單點(diǎn)故障
2、GlusterFS特點(diǎn)
擴(kuò)展性和高性能
- GlusterFS利用雙重特性來提供高容量存儲(chǔ)解決方案。
Scale-Out架構(gòu)允許通過簡(jiǎn)單地增加存儲(chǔ)節(jié)點(diǎn)的方式來提高存儲(chǔ)容量和性能（磁盤、計(jì)算和I/O資源都可以獨(dú)立增加），支持10GbE和 InfiniBand等高速網(wǎng)絡(luò)互聯(lián)。 - Gluster彈性哈希（ElasticHash）解決了GlusterFS對(duì)元數(shù)據(jù)服務(wù)器的依賴，改善了單點(diǎn)故障和性能瓶頸，真正實(shí)現(xiàn)了并行化數(shù)據(jù)訪問。GlusterFS采用彈性哈希算法在存儲(chǔ)池中可以智能地定位任意數(shù)據(jù)分片（將數(shù)據(jù)分片存儲(chǔ)在不同節(jié)點(diǎn)上），不需要查看索引或者向元數(shù)據(jù)服務(wù)器查詢。
高可用性
- GlusterFS可以對(duì)文件進(jìn)行自動(dòng)復(fù)制，如鏡像或多次復(fù)制，從而確保數(shù)據(jù)總是可以訪問，甚至是在硬件故障的情況下也能正常訪問。
當(dāng)數(shù)據(jù)出現(xiàn)不一致時(shí)，自我修復(fù)功能能夠把數(shù)據(jù)恢復(fù)到正確的狀態(tài)，數(shù)據(jù)的修復(fù)是以增量的方式在后臺(tái)執(zhí)行，幾乎不會(huì)產(chǎn)生性能負(fù)載。
GlusterFS可以支持所有的存儲(chǔ)，因?yàn)樗鼪]有設(shè)計(jì)自己的私有數(shù)據(jù)文件格式，而是采用操作系統(tǒng)中主流標(biāo)準(zhǔn)的磁盤文件系統(tǒng)（如EXT3、XFS等）來存儲(chǔ)文件，因此數(shù)據(jù)可以使用傳統(tǒng)訪問磁盤的方式被訪問。
全局統(tǒng)一命名空間
- 分布式存儲(chǔ)中，將所有節(jié)點(diǎn)的命名空間整合為統(tǒng)一命名空間，將整個(gè)系統(tǒng)的所有節(jié)點(diǎn)的存儲(chǔ)容量組成一個(gè)大的虛擬存儲(chǔ)池，供前端主機(jī)訪問這些節(jié)點(diǎn)完成數(shù)據(jù)讀寫操作。
彈性卷管理
- GlusterFS通過將數(shù)據(jù)儲(chǔ)存在邏輯卷中，邏輯卷從邏輯存儲(chǔ)池進(jìn)行獨(dú)立邏輯劃分而得到。
邏輯存儲(chǔ)池可以在線進(jìn)行增加和移除，不會(huì)導(dǎo)致業(yè)務(wù)中斷。邏輯卷可以根據(jù)需求在線增長(zhǎng)和縮減，并可以在多個(gè)節(jié)點(diǎn)中實(shí)現(xiàn)負(fù)載均衡。
文件系統(tǒng)配置也可以實(shí)時(shí)在線進(jìn)行更改并應(yīng)用，從而可以適應(yīng)工作負(fù)載條件變化或在線性能調(diào)優(yōu)。
基于標(biāo)準(zhǔn)協(xié)議
- Gluster 存儲(chǔ)服務(wù)支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生協(xié)議，完全與 POSIX 標(biāo)準(zhǔn)兼容。
現(xiàn)有應(yīng)用程序不需要做任何修改就可以對(duì)Gluster 中的數(shù)據(jù)進(jìn)行訪問，也可以使用專用 API 進(jìn)行訪問
3、GlusterFS術(shù)語
- Brick（塊存儲(chǔ)）：由主機(jī)提供的用于物理存儲(chǔ)的專用分區(qū)，是GlusterFS中的基本存儲(chǔ)單元，同時(shí)也是可信存儲(chǔ)池中服務(wù)器上對(duì)外提供的存儲(chǔ)目錄。
- Volume（邏輯卷）：一個(gè)邏輯卷是一組 Brick 的集合。卷是數(shù)據(jù)存儲(chǔ)的邏輯設(shè)備，類似于 LVM 中的邏輯卷。大部分 Gluster 管理操作是在卷上進(jìn)行的。
- FUSE：用戶空間的文件系統(tǒng)（類別EXT4），”這是一個(gè)偽文件系統(tǒng)“，用戶端的交換模塊
- VFS（虛擬端口）：內(nèi)核態(tài)的虛擬文件系統(tǒng)，用戶是提交請(qǐng)求給VFS 然后VFS交給FUSH，再交給GFS客戶端，最后由客戶端交給遠(yuǎn)端的存儲(chǔ)
- Glusterd（服務(wù)）：是運(yùn)行再存儲(chǔ)節(jié)點(diǎn)的進(jìn)程（客戶端運(yùn)行的是gluster client）GFS使用過程中整個(gè)GFS之間的交換由Gluster client 和glusterd完成
4、GlusterFS的工作流程
- 外來一個(gè)請(qǐng)求，例：用戶端申請(qǐng)創(chuàng)建一個(gè)文件，客戶端或應(yīng)用程序通過GFS的掛載點(diǎn)訪問數(shù)據(jù)
- linux系統(tǒng)內(nèi)容通過VFSAPI收到請(qǐng)求并處理
- VFS將數(shù)據(jù)遞交給FUSE內(nèi)核文件系統(tǒng)，fuse文件系統(tǒng)則是將數(shù)據(jù)通過/dev/fuse設(shè)備文件遞交給了GlusterFS client端
- GlusterFS client端收到數(shù)據(jù)后，會(huì)根據(jù)配置文件的配置對(duì)數(shù)據(jù)進(jìn)行處理
- 再通過網(wǎng)絡(luò)，將數(shù)據(jù)發(fā)送給遠(yuǎn)端的ClusterFS server，并將數(shù)據(jù)寫入到服務(wù)器儲(chǔ)存設(shè)備上
- server再將數(shù)據(jù)轉(zhuǎn)交給VFS偽文件系統(tǒng)，再由VFS進(jìn)行轉(zhuǎn)存處理，最后交給EXT3
5、GFS支持的七種卷
分布式卷（默認(rèn)）
文件通過HASH算法分布到所有Brick Server上，這種卷是GFS的基礎(chǔ)；文件沒有被分片，直接根據(jù)HASH算法散列到不同的Brick，其實(shí)只是擴(kuò)大了磁盤空間，并不具備容錯(cuò)能力，屬于文件級(jí)RAID 0
分布式卷的特點(diǎn)：
- 文件分布在不同的服務(wù)器，不具備冗余性
- 更容易和廉價(jià)地?cái)U(kuò)展卷的大小
- 單點(diǎn)故障會(huì)造成數(shù)據(jù)丟失
- 依賴底層的數(shù)據(jù)保護(hù)
條帶卷（默認(rèn)）
類似RAID 0，文件被分成數(shù)據(jù)庫并以輪詢的方式分布到多個(gè)Brick Server上，文件存儲(chǔ)以數(shù)據(jù)塊為單位，支持大文件存儲(chǔ)，文件越大，讀取效率越高
條帶卷特點(diǎn)：
- 數(shù)據(jù)被分割成更小塊分布到塊服務(wù)器群中的不同條帶區(qū)
- 分布減少了負(fù)載且更小的文件加速了存取的速度
- 沒有數(shù)據(jù)冗余
復(fù)制卷（Replica volume）
- 將文件同步到多個(gè)Brick上，使其具備多個(gè)文件副本，屬于文件級(jí)RAID 1，具有容錯(cuò)能力。因?yàn)閿?shù)據(jù)分散在多個(gè)Brick中，所以讀性能得到很大提升，但寫性能下降
復(fù)制卷特點(diǎn)：
- 卷中所有的服務(wù)器均保存一個(gè)完整的副本
- 卷的副本數(shù)量可由客戶創(chuàng)建的時(shí)候決定
- 至少由兩個(gè)塊服務(wù)器或更多服務(wù)器
- 具備冗余性
分布式條帶卷（Distribute Stripe volume）
- Brick Server數(shù)量是條帶數(shù)（數(shù)據(jù)塊分布的Brick數(shù)量）的倍數(shù)
兼具分布式卷和條帶的特點(diǎn)
分布式復(fù)制卷（Distribute Replica volume）
- Brick Server數(shù)量是鏡像數(shù)（數(shù)據(jù)副本 數(shù)量）的倍數(shù)
兼具分布式卷和復(fù)制卷的特點(diǎn)
條帶復(fù)制卷（Stripe Replca volume）
- 類似RAID 10，同時(shí)具有條帶卷和復(fù)制卷的特點(diǎn)
分布式條帶復(fù)制卷（Distribute Stripe Replicavolume）
- 三種基本卷的復(fù)合卷通常用于類Map Reduce應(yīng)用
二、相關(guān)維護(hù)命令
1、查看GlusterFS卷 gluster volume list 2、查看所有卷的信息 gluster volume info3、查看所有卷的狀態(tài) gluster volume status4、停止一個(gè)卷 gluster volume stop dis-stripe5、刪除一個(gè)卷 注意：刪除卷時(shí)，需要先停止卷，且信任池中不能有主機(jī)處于宕機(jī)狀態(tài)，否則刪除不成功 gluster volume delete dis-stripe6．設(shè)置卷的訪問控制 僅拒絕 gluster volume set dis-rep auth.allow 192.168.172.100僅允許 gluster volume set dis-rep auth.allow 192.168.172.* #設(shè)置192.168.172.0網(wǎng)段的所有IP地三、模擬實(shí)驗(yàn)——部署 GlusterFS 群集
gfsrepo.zip
集群環(huán)境準(zhǔn)備
| Node1節(jié)點(diǎn) | 192.168.172.10 | /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 | /data/sdb1 /data/sdc1 /data/sdd1 /data/sde1 |
| Node2節(jié)點(diǎn) | 192.168.172.20 | /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 | /data/sdb1 /data/sdc1 /data/sdd1 /data/sde1 |
| Node3節(jié)點(diǎn) | 192.168.172.30 | /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 | /data/sdb1 /data/sdc1 /data/sdd1 /data/sde1 |
| Node4節(jié)點(diǎn) | 192.168.172.40 | /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1 | /data/sdb1 /data/sdc1 /data/sdd1 /data/sde1 |
| 客戶端 | 192.168.172.50 |
所有節(jié)點(diǎn)更改名稱，方便識(shí)別
關(guān)防火墻（所有節(jié)點(diǎn)和客戶端）
1、節(jié)點(diǎn)進(jìn)行磁盤分區(qū)、掛載
Node1節(jié)點(diǎn)：192.168.172.10
Node2節(jié)點(diǎn)：192.168.172.20
Node3節(jié)點(diǎn)：192.168.172.30
Node4節(jié)點(diǎn)：192.168.172.40
這里使用node1作為示范，用腳本對(duì)磁盤進(jìn)行操作
2、配置/etc/hosts文件
Node1節(jié)點(diǎn)：192.168.172.10
Node2節(jié)點(diǎn)：192.168.172.20
Node3節(jié)點(diǎn)：192.168.172.30
Node4節(jié)點(diǎn)：192.168.172.40
這里做一臺(tái)node1示范，其余都一樣
3、安裝、啟動(dòng)GlusterFS
Node1節(jié)點(diǎn)：192.168.172.10
Node2節(jié)點(diǎn)：192.168.172.20
Node3節(jié)點(diǎn)：192.168.172.30
Node4節(jié)點(diǎn)：192.168.172.40
使用node1作為示范
4、添加節(jié)點(diǎn)創(chuàng)建集群
Node1節(jié)點(diǎn)：192.168.172.10隨便在哪個(gè)node節(jié)點(diǎn)添加就行
gluster peer probe node1 gluster peer probe node2 gluster peer probe node3 gluster peer probe node4#查看群集狀態(tài)（可以在每個(gè)節(jié)點(diǎn)上使用） gluster peer status5、根據(jù)規(guī)劃創(chuàng)建卷
創(chuàng)建卷只需要在一臺(tái)節(jié)點(diǎn)上創(chuàng)建即可
根據(jù)以下規(guī)劃創(chuàng)建卷：
| dis-volume | 分布式卷 | node1(/data/sdb1)、node2(/data/sdb1) |
| stripe-volume | 條帶卷 | node1(/data/sdc1)、node2(/data/sdc1) |
| rep-volume | 復(fù)制卷 | node3(/data/sdb1)、node4(/data/sdb1) |
| dis-stripe | 分布式條帶卷 | node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) |
| dis-rep | 分布式復(fù)制卷 | node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1) |
（1）創(chuàng)建分布式卷
創(chuàng)建分布式卷，沒有指定類型，默認(rèn)創(chuàng)建的是分布式卷創(chuàng)建分布式卷 gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force查看卷列表 gluster volume list啟動(dòng)新建分布式卷 gluster volume start dis-volume查看創(chuàng)建分布式卷信息 gluster volume info dis-volume（2）創(chuàng)建條帶卷
指定類型為 stripe，數(shù)值為 2，且后面跟了 2 個(gè) Brick Server，所以創(chuàng)建的是條帶卷創(chuàng)建條帶卷 gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force啟動(dòng)新建條帶卷 gluster volume start stripe-volume查看創(chuàng)建條帶卷信息 gluster volume info stripe-volume（3）創(chuàng)建復(fù)制卷
指定類型為 replica，數(shù)值為 2，且后面跟了 2 個(gè) Brick Server，所以創(chuàng)建的是復(fù)制卷創(chuàng)建復(fù)制卷 gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force啟動(dòng)新建復(fù)制卷 gluster volume start rep-volume查看創(chuàng)建復(fù)制卷信息 gluster volume info rep-volume（4）創(chuàng)建分布式條帶卷
指定類型為 stripe，數(shù)值為 2，而且后面跟了 4 個(gè) Brick Server，是 2 的兩倍，所以創(chuàng)建的是分布式條帶卷創(chuàng)建分布式條帶卷 gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force啟動(dòng)新建分布式條帶卷 gluster volume start dis-stripe查看創(chuàng)建分布式條帶卷信息 gluster volume info dis-stripe（5）創(chuàng)建分布式復(fù)制卷
指定類型為 replica，數(shù)值為 2，而且后面跟了 4 個(gè) Brick Server，是 2 的兩倍，所以創(chuàng)建的是分布式復(fù)制卷創(chuàng)建分布式復(fù)制卷gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force啟動(dòng)新建分布式復(fù)制卷 gluster volume start dis-rep查看創(chuàng)建分布式復(fù)制卷信息 gluster volume info dis-rep 查看卷列表 gluster volume list6、部署gluster客戶端
部署Gluster客戶端（192.168.172.50）
（1）安裝客戶端軟件
（2）配置 /etc/hosts 文件
echo "192.168.172.10 node1" >> /etc/hosts echo "192.168.172.20 node2" >> /etc/hosts echo "192.168.172.30 node3" >> /etc/hosts echo "192.168.172.40 node4" >> /etc/hosts（3）創(chuàng)建掛載目錄
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}（4）掛載 Gluster 文件系統(tǒng)
- 臨時(shí)掛載
- 企業(yè)中最好用永久掛載，以防重啟或服務(wù)器宕機(jī)
7、測(cè)試 Gluster 文件系統(tǒng)
Gluster客戶端（192.168.172.50）
向卷中寫入文件
8、查看文件分布
查看卷對(duì)應(yīng)的磁盤分區(qū)中的文件數(shù)據(jù)，驗(yàn)證結(jié)果
（1）查看分布式文件分布
node1:/dev/sdb1
node2:/dev/sdb1
- 分布式只會(huì)將demo文件分開存儲(chǔ)（5個(gè)文件不在同一磁盤分區(qū)上），不會(huì)將數(shù)據(jù)分片和備份
（2）查看條帶卷文件分布
node1:/dev/sdc1
node2:/dev/sdc1
- 條帶卷會(huì)將每個(gè)demo文件中的數(shù)據(jù)分片存儲(chǔ)（兩個(gè)分區(qū)各有20M的文件），沒有備份
（3）查看復(fù)制卷文件分布
node3:/dev/sdb1
node4:/dev/sdb1
- 復(fù)制卷會(huì)將每個(gè)文件放入卷中的磁盤分區(qū)中（兩分區(qū)的文件一樣）
（4）查看分布式條帶卷分布
node1:/dev/sdd1
node2:/dev/sdd1
node3:/dev/sdd1
node4:/dev/sdd1
- 分布式條帶卷中，帶有分布式和條帶卷的特點(diǎn)，即將數(shù)據(jù)分片，又將文件分開存儲(chǔ)，沒有備份
（5）查看分布式復(fù)制卷分布
node1:/dev/sde1
node2:/dev/sde1
node3:/dev/sde1
node4:/dev/sde1
- 分布式復(fù)制卷中，帶有分布式和復(fù)制卷的特點(diǎn)，即將文件分開存儲(chǔ)，又復(fù)制一遍文件（備份）
四、冗余測(cè)試
掛起 node2 節(jié)點(diǎn)或者關(guān)閉glusterd服務(wù)來模擬故障
systemctl stop glusterd.service在客戶端（192.168.172.50）上查看文件是否正常
1、分布式卷
ls -lh /test/dis- 數(shù)據(jù)查看，缺少demo5，文件demo5是存儲(chǔ)在node2上的，所以分布式卷不具備冗余
2、條帶卷
ls -lh /test/stripe/- 文件中沒有數(shù)據(jù)，說明數(shù)據(jù)全部丟失，所以條帶卷不具備冗余
3、分布式條帶卷
ls -lh /test/dis_stripe/- 就剩下demo4和demo5了因?yàn)?.2.3都進(jìn)行了分布式存儲(chǔ)在node1和node2上了node2掛了所以3個(gè)文件也就都沒了
4、分布式復(fù)制卷
ls -lh /test/dis_rep/- 文件和數(shù)據(jù)都在，所以分布式復(fù)制卷具有冗余
5、復(fù)制卷
在node3和node4中選一個(gè)關(guān)閉的，關(guān)閉node4（192.168.172.40）進(jìn)行測(cè)試
ls -lh /test/rep/- 可以看到我把做復(fù)制卷的一臺(tái)node掛起后數(shù)據(jù)依然存在所以復(fù)制卷具有冗余
總結(jié)
與傳統(tǒng)的分布式系統(tǒng)一樣，GFS 同樣追求高性能、高可靠性、高可用性，但同時(shí) Google 基于自身的生產(chǎn)環(huán)境、技術(shù)環(huán)境，有一些自身獨(dú)有的特點(diǎn)。首先，組件失效是常態(tài)化的，而非意外。在 GFS 成百上千的集群中，隨時(shí)隨地都可能發(fā)生故障導(dǎo)致機(jī)器無法恢復(fù)，所以，有一定的容災(zāi)、自動(dòng)恢復(fù)能力是必須要整合在 GFS 中的。其次，文件巨大，GB 級(jí)別的數(shù)據(jù)非常普遍。第三，絕大多數(shù)文件的寫操作都是追加，而非修改，通常的文件場(chǎng)景是順序?qū)?#xff0c;且順序讀。第四，應(yīng)用程序和文件系統(tǒng) API 的協(xié)同設(shè)計(jì)提高了整個(gè)系統(tǒng)的靈活性。
總結(jié)
以上是生活随笔為你收集整理的如何构建GFS分布式存储平台？理论+实操！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Rsync下行同步+inotify实时同
- 下一篇： 内存32000：挑战人类极限，揭秘记忆奥