使用SSD增強Ceph性能并對比測試幾年前，用Proxmox Virtual Environment(一個VMWare Vsphere的開源替代，以后簡稱PVE)搭建了一個測試云平臺，使用了PVE自帶的分布式存儲Ceph。加上PVE自帶的KVM虛擬機和LXC容器，再配置了虛擬交換機Open vSwitch，勉強算是一個所謂的超融合構架。當時沒有考慮存儲性能的問題，只是用一個萬兆交換機把幾個節點的幾十塊磁盤鏈接起來，后來在使用中感覺讀取速度還行，寫入確實太慢了。翻了些關于ceph的優化的文章，最好的辦法是使用固態硬盤作為日志和緩存。這次給每臺主機增加了一塊400G的固態硬盤，對比測試發現ceph的讀寫性能明顯提升。測試不是很專業的評測，但對一般中小型企業，足夠參考了。測試????下面是比較測試結果，操作系統分別為windows 2003SP1 / win7SP1 / RedHat Enterprise Linux Enterprise Server release 5.11 (Carthage)

1. 基于windows 2003sp1的HD tune和CrystalDiskMark比較測試

• Windows2003sp1測試使用一個是物理機上一個虛擬機，后者是把前者遷移到虛擬化平臺上，存儲分別是Adaptec Raid1和ceph

• Windows2003sp1上該HD tune只能測試讀性能，而CrystalDiskMark在物理機上測試寫性能到”RAND4K Q32T16”的時候出現內存報錯，所以結果不完整

HD tune測試讀性能的結果

測試項目	最小(MB/s)	最大(MB/s)	平均(MB/s)
ceph	8.7	128.2	87
Adaptec Raid1	44.7	85.3	79

可見物理存儲性能穩定，而虛擬存儲會根據軟件調用爆發。下面CrystalDiskMark的測試結果顯示ceph的寫性能也強于物理存儲。

2. 基于Windows7的HD tune比較測試

• win7虛擬機文件分別遷移到ceph、zfs(raidz1)和硬件陣列卡(MegaRAID SAS-3 Raid5)再分別運行HD tune

HD tune測試性能的結果(連續讀寫)

測試項目(Sequent)	Read(KB/s)	Write(KB/s)
ceph	2313964	23923
zfs raidz1	874807	25362
MegaRAID Raid5	1534464	3818681

HD tune測試性能的結果(4K隨機讀寫)

測試項目(4KB random)	Read(IOPS)	Write(IOPS)
ceph	9221/115191	94/97
zfs raidz1	3521/32701	80/84
MegaRAID Raid5	9751/93914	4760/16415

讀性能上ceph是最高的，寫性能上還是硬件陣列卡強得多，這也是分布式存儲的必然缺陷，畢竟純軟件寫入三塊磁盤才算完成。

3. 基于RHEL5的DD比較測試

這臺虛擬機部分磁盤使用本地存儲，部分磁盤使用ceph，如下圖

在兩個不同的路徑分別創建文件，其中/test.img在ceph上，/u01/test.img在本地磁盤陣列(MegaRAID Raid5)上。

寫測試使用命令：

其中bs分別設置為1024、4096和1M

dd if=/dev/zero of=/test.img bs=1024 count=1000

通過參數“oflag=dsync”測試不使用緩存的情況：

dd if=/dev/zero of=/test.img bs=1G count=1 oflag=dsync讀測試使用寫測試生成的文件:dd if=/dev/zero of=/test.img bs=1G count=1同樣通過參數“oflag=dsync”測試不使用緩存的情況：dd if=/dev/zero of=/test.img bs=1G count=1 oflag=direct注意每次讀測試先清除系統內存的數據緩存：echo 3 | tee /proc/sys/vm/drop_caches測試結果如下：

寫性能比較測試

測試項	有緩存1024	有緩存2048	有緩存4096	有緩存1M		無緩存1G	無緩存1M	無緩存1024
Raid5	452 MB/s	668 MB/s	927 MB/s	1.2 GB/s		207 MB/s	478 MB/s	1.8 MB/s
Ceph	405 MB/s	665 MB/s	906 MB/s	1.2 GB/s		9.8 MB/s	7.7 MB/s	39.9 kB/s

讀性能比較測試

測試項	有緩存1G	有緩存1M	無緩存1G
Raid5	1.5 GB/s	2.2 GB/s	1.1 GB/s
Ceph	1.9 GB/s	4.2 GB/s	7.4 MB/s

有緩存的情況下，硬件陣列卡寫性能略勝，ceph讀性能大勝(應該是分布式讀取的好處)。無緩存的情況下，ceph無論讀寫性能簡直慘不忍睹。

總結

通過上面的測試，大家都能感受到緩存對存儲性能的巨大提升，我們也能更好的理解為什么存儲硬件商們紛紛宣傳自己的SSD緩存了。

最后總結：

不同的測試工具和方法得到的性能數值差異不小，比如第一個windows2003sp1下面的HD tune和CrystalDiskMark值差異很大，但是兩種存儲對比是明顯的。

無論什么存儲，緩存都很重要！

如果你的分布式存儲性能不高，立刻上SSD做緩存！當然，錢多的可以全SSD。

附

1. PVE部分組件版本

# pveversion -vproxmox-ve: 5.4-2 (running kernel: 4.15.18-19-pve)pve-manager: 5.4-13 (running version: 5.4-13/aee6f0ec)pve-kernel-4.15: 5.4-7....ceph: 12.2.12-pve1...qemu-server: 5.0-54...zfsutils-linux: 0.7.13-pve1~bpo2

2. Win7自帶的測試程序

WIN7中有個winsat可以測試硬件性能，我也用它測試了磁盤，只是生成的xml文件太多行，眼睛都看花了，有興趣的朋友可以自己試試,下面是測試D盤的例子：

winsat disk -flush -drive d -xml d:\raidN8.txt

總結

以上是生活随笔為你收集整理的ssd测试工具crystaldiskmark_使用SSD增强Ceph性能并对比测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。