當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

centos7 ceph 集群部署

發布時間：2023/12/14 编程问答 31 豆豆

生活随笔收集整理的這篇文章主要介紹了 centos7 ceph 集群部署小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

ceph

一種為優秀的性能、可靠性和可擴展性而設計的統一的、分布式文件系統

一、Ceph必備組件

OSD（Object Storage Device）

Ceph OSD守護進程（Ceph OSD）的功能是存儲數據.處理數據的復制、恢復、回填、再均衡，并通過檢查其他OSD 守護進程的心跳來向Ceph Monitors提供一些監控信息。當Ceph存儲集群設定為有2個副本時，至少需要2個OSD守護進程，集群才能達到active+clean狀態（Ceph默認有3個副本，但你可以調整副本數）。

MON（Monitor）

Ceph Monitor維護著展示集群狀態的各種圖表，包括監視器圖、OSD圖、歸置組（PG）圖、和CRUSH圖。Ceph保存著發生在Monitors 、OSD和PG上的每一次狀態變更的歷史信息（稱為Epoch，Epoch 是一個通用的實時的圖表庫，用于構建漂亮、平滑和高性能的可視化圖形圖表。）。

MDS（Ceph MetaData Server）

Ceph元數據服務器（MDS）為Ceph文件系統存儲元數據（也就是說，Ceph塊設備和Ceph對象存儲不使用MDS）。元數據服務器使得POSIX文件系統的用戶們，可以在不對Ceph存儲集群造成負擔的前提下，執行諸如ls、find等基本命令。MDS能夠控制Client和OSD的交互，還可以管理限額控制、目錄和文件的創建與刪除，以及訪問控制權限等。

PG (placement group)

PG （放置組）是 OSD之上的一層邏輯，可視其為一個邏輯概念。Ceph 把對象OBJECT映射到PG中。
從名字可理解PG是一個放置策略組，很多個對象一起組團，然后再存入OSD 中，用來方便定位和追蹤對象。

因為一個擁有數百萬對象的系統，不可能在對象這一級追蹤位置。可以把 PG 看做一個對象集合，該集合里的所有對象都具有相同的放置策略：對象的副本都分布在相同的OSD列表上。

PG 減少了各對象存入對應 OSD 時的元數據數量，更多的 PG 使得均衡更好。PG有主從之分，對于多副本而言，一個PG的主從副本分布在不同的OSD上；一個對象只能屬于一個PG，一個PG包含很多個對象，一個PG對應于一個OSD列表，PG的所有對象對存放在對應的OSD列表上。

Pool存儲池

Pool 是一個抽象的存儲池，它是 PG 之上的一層邏輯。所有的對象都必須存在存儲池中。存儲池管理著歸置組數量、副本數量、和存儲池規則集。要往存儲池里存數據，用戶必須通過認證、且權限合適，存儲池可做快照。
如果把整個 Ceph 存儲系統看做是一個數據庫的話，那么 Pool 的角色可以看做是數據表。用戶可能需要根據不同的需求把對象存儲在不同的存儲池中。一個 Pool 由多個 PG 構成，一個 PG 只能屬于一個Pool。同一個 Pool 中的 PG 具有相同的類型，比如，如 Pool 為副本類型，則 Pool 中所有的 PG 都是多副本的。

PGP (Placement Group for Placemen)

PGP是PG的歸置組，PGP 起到對 PG 進行歸置的作用，PGP的取值應該與PG相同，在PG的值增大的同時，也要增大PGP的值以保持二者的值相同。當一個 Pool 的 PG 增大后，Ceph 并不會開始進行 rebalancing，只有在 PGP 的值增大后， PG才會開始遷移至其他的OSD上，并且開始 rebalancing。

二、部署

1、環境

環境
node0 192.168.0.47 osd，mds，admin，monitor
node1 192.168.0.33 osd，mds
node2 192.168.0.37 osd，mds
node3 192.168.0.59 client

2、Hosts及防火墻設置

node0、node1、node2節點進行如下配置： #添加hosts解析； cat >/etc/hosts<<EOF 127.0.0.1 localhost localhost.localdomain 192.168.0.47 node0 192.168.0.33 node1 192.168.0.37 node2 EOF #臨時關閉selinux和防火墻； sed -i '/SELINUX/s/enforcing/disabled/g' /etc/sysconfig/selinux setenforce 0 systemctl stop firewalld.service systemctl disable firewalld.service sed -i '/^SELINUX/s/enforcing/disabled/g' /etc/selinux/config ;setenforce 0 #同步節點時間； yum install ntpdate -y ntpdate pool.ntp.org #修改對應節點主機名； hostname `cat /etc/hosts |grep $(ifconfig|grep broadcast|awk '{print $2}'|grep -E '192.168')|awk '{print $2}'`;su

3、Ceph網絡源管理

在node0管理節點上使用阿里Yum源，操作命令如下所示：

yum install wget -y rm -rf /etc/yum.repos.d/* cd /etc/yum.repos.d/ wget -c http://mirrors.aliyun.com/repo/Centos-7.repo wget -c http://mirrors.aliyun.com/repo/epel-7.repo cat>/etc/yum.repos.d/ceph.repo<<EOF [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 priority=1 [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/ gpgcheck=0 priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS gpgcheck=0 priority=1 EOF yum clean all

以上，在每個節點都執行，以下，在node0節點執行即可

4、ceph-deploy管理工具

ceph-deploy是Ceph官方提供的部署工具，基于ssh遠程登錄其它各個節點上執行命令完成部署過程，通常在node節點上安裝此工具。 ceph-deploy工具默認使用root用戶SSH到各Ceph節點執行命令。為了方便，需求提前設置免密碼登陸各個節點。如果ceph-deploy以某個普通用戶登陸，那么這個用戶必須有無密碼使用sudo的權限。 yum -y install ceph-deploy #創建Monitor服務 mkdir /etc/ceph cd /etc/ceph/ ceph-deploy new node0 #執行如上指令會創建對應ceph的配置文件、日志文件和Monitor密鑰文件： ceph.conf ceph-deploy-ceph.log ceph.mon.keyring #如果想要修改守護進程數，也就是副本數，可以在ceph.conf配置文件中添加如下： cat>>ceph.conf<<EOF osd_pool_default_size = 2 EOF

5、Ceph軟件安裝

#在node0節點生成公鑰和私鑰； ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa -q -t:指定要創建的密鑰的類型； -N:是指密碼為空； -f:id_rsa是指保存文件為~/.ssh/id_rsa和~/.ssh/id_rsa.pub； -q:指靜默模式, 不輸出顯示； #將公鑰拷貝至各個節點； for i in `seq 0 2`;do ssh-copy-id -i ~/.ssh/id_rsa.pub node$i ;done #每個節點安裝Ceph ceph-deploy install node0 node1 node2

6、部署Monitor（監控）

#創建Monitor（監控）； ceph-deploy mon create node0 #收集keyring（密鑰環）信息； ceph-deploy gatherkeys node0 #查看生成的配置文件和秘鑰； ls ceph.bootstrap-mds.keyring ceph.bootstrap-rgw.keyring ceph-deploy-ceph.log ceph.bootstrap-mgr.keyring ceph.client.admin.keyring ceph.mon.keyring ceph.bootstrap-osd.keyring ceph.conf rbdmap

7、創建OSD存儲節點

#分別在每個節點創建ceph存儲目錄：/data/，指令如下； for i in $(seq 0 2);do ssh -l root node$i "mkdir -p /data/" ;done #創建osd節點，命令如下： ceph-deploy osd prepare node0:/data/ node1:/data/ node2:/data/ #在不同的主機上可以看到，對應的節點會生成文件，命令如下： ls -l /data/ ceph_fsid fsid magic

8、激活OSD存儲節點

#管理節點node0上激活各節點的osd ceph-deploy osd activate node0:/data/ node1:/data/ node2:/data/ #如果報提示沒有權限的錯誤，需要給三個節點的/data/讀寫、執行權限 for i in $(seq 0 2);do ssh -l root node$i "chmod 777 -R /data/" ;done #然后重新執行； ceph-deploy osd activate node0:/data/ node1:/data/ node2:/data/ 激活完成后可以使用命令查看osd狀態； ceph-deploy osd list node0 #使用如下命令將配置文件和admin密鑰同步到各個節點，以便各個節點使用ceph命令時無需指定Monitor地址和ceph.client.admin.keyring密鑰。 #注意：還需要修改各個節點ceph.client.admin.keyring密鑰的權限 ceph-deploy admin node0 node1 node2

9、檢查OSD狀態

ceph health HEALTH_OK

10、部署MDS服務

ceph-deploy mds create node0 node1 node2 ceph mds stat e4:, 3 up:standby

11、查看CEPH集群狀態

#查看Ceph集群狀態； ceph -s #查看Ceph文件系統； ceph fs ls No filesystems enabled

12、Ceph創建存儲池

#創建存儲池； ceph osd pool create cephfs_data 128 #創建存儲池元數據； ceph osd pool create cephfs_metadata 128 #解析：參數后面的128數字為指定pg_num的值，這個值是不能自動計算的，需要手動賦予。一般來說，少于5個osd時，pg_num可以設置為128；osd在5到10個之間，pg_num可以設置為512；osd在10到50個之間，pg_num可以設置為4096；Osd一旦超過50個，那么就得自己計算pg_num的取值，也可以借助工具pgcalc計算，網址是https://ceph.com/pgcalc/。隨著osd數量的增加，正確的pg_num取值變得更加重要，因為它顯著地影響著集群的行為、以及出錯時的數據持久性（即災難性事件導致數據丟失的概率）。

13、創建文件系統

#創建Ceph文件系統； ceph fs new 128 cephfs_metadata cephfs_data #查看Ceph文件系統； ceph fs ls #查看MDS狀態； ceph mds stat ceph osd pool get [存儲池名稱] size　　//查看存儲池副本數 ceph osd pool set [存儲池名稱] size 3　　//修改存儲池副本數 ceph osd lspools　　//打印存儲池列表 ceph osd pool create [存儲池名稱] [pg_num的取值]　　//創建存儲池 ceph osd pool rename [舊的存儲池名稱] [新的存儲池名稱]　　//存儲池重命名 ceph osd pool get [存儲池名稱] pg_num　　//查看存儲池的pg_num ceph osd pool get [存儲池名稱] pgp_num　　//查看存儲池的pgp_num ceph osd pool set [存儲池名稱] pg_num [pg_num的取值]　　//修改存儲池的pg_num值 ceph osd pool set [存儲池名稱] pgp_num [pgp_num的取值]　　//修改存儲池的pgp_num值 ceph osd pool get-quota cephfs_metadata　　//查看存儲池配額 quotas for pool 'cephfs_metadata': max objects: N/A max bytes : N/A

14、查看ceph 狀態

ceph osd tree

[root@node0 ceph]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.22458 root default -2 0.07419 host node0 0 0.07419 osd.0 up 1.00000 1.00000 -3 0.07520 host node1 1 0.07520 osd.1 up 1.00000 1.00000 -4 0.07520 host node2 2 0.07520 osd.2 up 1.00000 1.00000 ceph -scluster 2735b13e-fc74-4eb5-9ae1-f5211c154b36health HEALTH_OKmonmap e1: 1 mons at {node0=192.168.0.47:6789/0}election epoch 3, quorum 0 node0fsmap e7: 1/1/1 up {0=node2=up:active}, 2 up:standbyosdmap e22: 3 osds: 3 up, 3 inflags sortbitwise,require_jewel_osdspgmap v867: 320 pgs, 3 pools, 2068 bytes data, 20 objects23387 MB used, 207 GB / 229 GB avail320 active+clean [root@node0 ceph]# ps -ef|grep ceph ceph 2601 1 0 16:09 ? 00:00:06 /usr/bin/ceph-mon -f --cluster ceph --id node0 --setuser ceph --setgroup ceph ceph 3364 1 0 16:11 ? 00:00:07 /usr/bin/ceph-osd -f --cluster ceph --id 0 --setuser ceph --setgroup ceph ceph 3724 1 0 16:11 ? 00:00:00 /usr/bin/ceph-mds -f --cluster ceph --id node0 --setuser ceph --setgroup ceph root 19462 2020 0 17:22 pts/0 00:00:00 grep --color=auto ceph [root@node1 ~]# ps -ef|grep ceph ceph 2666 1 0 16:11 ? 00:00:07 /usr/bin/ceph-osd -f --cluster ceph --id 1 --setuser ceph --setgroup ceph ceph 2891 1 0 16:11 ? 00:00:00 /usr/bin/ceph-mds -f --cluster ceph --id node1 --setuser ceph --setgroup ceph root 18201 2015 0 17:23 pts/0 00:00:00 grep --color=auto ceph

如此，ceph集群部署完畢

三、客戶端掛載ceph 文件系統

方法一：內核驅動掛載

環境安裝及查看key值

yum install ceph-common -y mkdir -p /app /etc/ceph/ scp 192.168.0.47:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ cat /etc/ceph/ceph.client.admin.keyring [client.admin]key = AQDAg9lgfgY0LhAAOJ5eQxA6+l1qhMrU9zoTVA==

mount

mount -t ceph 192.168.0.47:6789:/ /app/ -o name=admin,secret=AQDAg9lgfgY0LhAAOJ5eQxA6+l1qhMrU9zoTVA==

已掛載

方法二、用戶控件掛載ceph文件系統

#在客戶端主機部署ceph-fuse，命令操作如下； scp -r root@192.168.0.47:/etc/yum.repos.d/ceph.repo /etc/yum.repos.d/ yum install -y ceph-fuse #添加客戶端KEY，可以從node0節點/etc/ceph/目錄拷貝； scp 192.168.0.47:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ cat /etc/ceph/ceph.client.admin.keyring [client.admin]key = AQDAg9lgfgY0LhAAOJ5eQxA6+l1qhMrU9zoTVA== #使用如下指令掛載Ceph目錄即可； [root@localhost ~]# ceph-fuse -m 192.168.0.47:6789 /app 2021-06-28 18:18:07.600287 7fba23495f00 -1 did not load config file, using default settings. ceph-fuse[12012]: starting ceph client 2021-06-28 18:18:07.627873 7fba23495f00 -1 init, newargv = 0x56044d0326c0 newargc=11 ceph-fuse[12012]: starting fuse [root@localhost ~]# [root@localhost ~]# df -Th|grep ceph ceph-fuse fuse.ceph-fuse 230G 23G 208G 10% /app #注：如果需要卸載，命令如下； fusermount -u /data

開機掛載 - 添加rc.local或fstab文件（略）

四、Ceph添加新節點

CEPH集群配置成功之后，隨著數據量不斷的增長，后期如果資源池滿了，作為運維人員需要向集群中增加存儲節點，以應對企業數據飛速的增長。如果集群已經在運行，我們可以在集群運行時添加或刪除OSD節點。
要向CEPH集群中增加一個或者多個OSD節點，要依次做如下操作：
增加Linux服務器；
創建OSD數據目錄；
把硬盤掛載到數據目錄；
把 OSD節點數據目錄加入集群；
將OS節點加入 CRUSH Map。

1、Hosts及防火墻設置node0和node3節點進行如下配置：

#添加hosts解析； cat >/etc/hosts<<EOF 127.0.0.1 localhost localhost.localdomain 192.168.0.47 node0 192.168.0.33 node1 192.168.0.37 node2 192.168.0.59 node3 EOF #臨時關閉selinux和防火墻； sed -i '/SELINUX/s/enforcing/disabled/g' /etc/sysconfig/selinux setenforce 0 systemctl stop firewalld.service systemctl disable firewalld.service #同步節點時間； yum install ntpdate -y ntpdate pool.ntp.org #修改對應節點主機名； hostname `cat /etc/hosts|grep $(ifconfig|grep broadcast|awk '{print $2}')|awk '{print $2}'`;su

2、在node0管理節點上使用阿里Yum源，操作命令如下所示：（如果已經操作，可以忽略）

yum install wget -y rm -rf /etc/yum.repos.d/* cd /etc/yum.repos.d/ wget http://mirrors.aliyun.com/repo/Centos-7.repo wget http://mirrors.aliyun.com/repo/epel-7.repo cat>/etc/yum.repos.d/ceph.repo<<EOF [ceph] name=ceph baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 priority=1 [ceph-noarch] name=cephnoarch baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/ gpgcheck=0 priority=1 [ceph-source] name=Ceph source packages baseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS gpgcheck=0 priority=1 EOF yum clean all

3、在Ceph新增節點上安裝CEPH軟件服務；

#在node0節點生成公鑰和私鑰； ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa -q -t:指定要創建的密鑰的類型； -N:是指密碼為空； -f:id_rsa是指保存文件為~/.ssh/id_rsa和~/.ssh/id_rsa.pub； -q:指靜默模式, 不輸出顯示； #將公鑰拷貝至各個節點； ssh-copy-id -i ~/.ssh/id_rsa.pub node3 #在新節點安裝Ceph服務； ceph-deploy install node3

4、創建OSD存儲節點；

#在新增的節點創建ceph存儲目錄：/data/，指令如下； ssh -l root node3 "mkdir -p /data/" #創建osd節點，命令如下： ceph-deploy osd prepare node3:/data/ #在新節點的主機上可以看到，對應的節點會生成文件，命令如下： ls -l /data/ ceph_fsid fsid magic

5、激活OSD存儲節點，在管理節點node0上激活新增節點的osd數據存儲，命令操作如下；

ceph-deploy osd activate node3:/data/

如果報提示沒有權限的錯誤，需要給三個節點的/data/讀寫、執行權限

ssh -l root node3 "chmod 777 -R /data/"

然后重新執行；

ceph-deploy osd activate node3:/data/

激活完成后可以使用命令查看osd狀態；

ceph-deploy osd list node3

使用如下命令將配置文件和admin密鑰同步到各個節點，以便各個節點使用ceph命令時無需指定Monitor地址和ceph.client.admin.keyring密鑰。注意：還需要修改各個節點ceph.client.admin.keyring密鑰的權限

ceph-deploy admin node3

6、添加新節點node3的/data/目錄加入到存儲池中；

ceph-deploy osd create node3:/data/

7、OSD節點部署完成之后，接下來部署MDS服務，命令操作如下；

ceph-deploy mds create node3

8、檢查新增節點服務進程和端口信息，命令操作如下；

[root@node3 ~]# ps -ef|grep ceph root 11715 2 0 Jun28 ? 00:00:00 [ceph-msgr] root 12012 1 0 Jun28 pts/0 00:00:46 ceph-fuse -m 192.168.0.47:6789 /app ceph 14333 1 3 20:11 ? 00:00:01 /usr/bin/ceph-osd -f --cluster ceph --id 3 --setuser ceph --setgroup ceph ceph 14707 1 0 20:12 ? 00:00:00 /usr/bin/ceph-mds -f --cluster ceph --id node3 --setuser ceph --setgroup ceph root 14741 13302 0 20:12 pts/0 00:00:00 grep --color=auto ceph [root@node3 ~]# netstat -tnlp|grep ceph tcp 0 0 0.0.0.0:6800 0.0.0.0:* LISTEN 14333/ceph-osd tcp 0 0 0.0.0.0:6801 0.0.0.0:* LISTEN 14333/ceph-osd tcp 0 0 0.0.0.0:6802 0.0.0.0:* LISTEN 14333/ceph-osd tcp 0 0 0.0.0.0:6803 0.0.0.0:* LISTEN 14333/ceph-osd tcp 0 0 0.0.0.0:6804 0.0.0.0:* LISTEN 14707/ceph-mds [root@node3 ~]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.31717 root default -2 0.07419 host node0 0 0.07419 osd.0 up 1.00000 1.00000 -3 0.07520 host node1 1 0.07520 osd.1 up 1.00000 1.00000 -4 0.07520 host node2 2 0.07520 osd.2 up 1.00000 1.00000 -5 0.09259 host node3 3 0.09259 osd.3 up 1.00000 1.00000

五、ceph刪除節點

CEPH集群配置成功之后，隨著數據量不斷的增長，后期如果資源池滿了，作為運維人員需要向集群中增加存儲節點，以應對企業數據飛速的增長。如果集群已經在運行，我們可以在集群運行時添加或刪除OSD節點。
1）將node3節點的osd.3從Crush中刪除，并刪除對應的OSD和AUTH，HOST，在node0管理節點上執行如下指令：
ceph osd crush rm osd.3
ceph osd rm 3
ceph auth del osd.3
ceph osd crush rm node3
ceph osd tree

[root@node0 ceph]# ceph osd crush rm osd.3 removed item id 3 name 'osd.3' from crush map [root@node0 ceph]# ceph osd rm 3 Error EBUSY: osd.3 is still up; must be down before removal. [root@node0 ceph]# ceph auth del osd.3 updated [root@node0 ceph]# ceph osd crush rm node3 removed item id -5 name 'node3' from crush map [root@node0 ceph]# ceph osd tree ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY -1 0.22458 root default -2 0.07419 host node0 0 0.07419 osd.0 up 1.00000 1.00000 -3 0.07520 host node1 1 0.07520 osd.1 up 1.00000 1.00000 -4 0.07520 host node2 2 0.07520 osd.2 up 1.00000 1.00000 3 0 osd.3 up 1.00000 1.00000

2）根據如上指令，將故障節點和OSD從集群中刪除了，同時可以停止node3節點CEPH相關的服務進程，命令操作如下：

systemctl stop ceph.target ps -ef|grep ceph

3）卸載Ceph服務，同時將相關數據刪除，命令操作如下：

yum remove ceph* -y yum remove libcephfs* python-cephfs* -y find / -name "*ceph*" -exec rm -rf {} \;

------------------------------------end

總結

以上是生活随笔為你收集整理的centos7 ceph 集群部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

集群
ceph

上一篇： 360se html怎么删除,删除360
下一篇： php中session销毁,PHP中se