為什么80%的碼農都做不了架構師？>>> ??

FIO是測試IOPS的非常好的工具，用來對硬件進行壓力測試和驗證，支持13種不同的I/O引擎， 包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。? fio 官網地址：http://freshmeat.net/projects/fio/?
一，FIO安裝? wget http://brick.kernel.dk/snaps/fio-2.0.7.tar.gz? yum install libaio-devel? tar -zxvf fio-2.0.7.tar.gz? cd fio-2.0.7? make?

make install?

//----------epel源： yum install fio -y

二，隨機讀測試：? 隨機讀：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=16k -size=200G? -numjobs=10 -runtime=1000 -group_reporting -name=mytest?
說明：? filename=/dev/sdb1 測試文件名稱，通常選擇需要測試的盤的data目錄。? direct=1 測試過程繞過機器自帶的buffer。使測試結果更真實。? rw=randwrite 測試隨機寫的I/O? rw=randrw 測試隨機寫和讀的I/O? bs=16k 單次io的塊文件大小為16k? bsrange=512-2048 同上，提定數據塊的大小范圍? size=5g 本次的測試文件大小為5g，以每次4k的io進行測試。? numjobs=30 本次的測試線程為30.? runtime=1000 測試時間為1000秒，如果不寫則一直將5g文件分4k每次寫完為止。? ioengine=psync io引擎使用pync方式? rwmixwrite=30 在混合讀寫的模式下，寫占30%? group_reporting 關于顯示結果的，匯總每個進程的信息。? 此外? lockmem=1g 只使用1g內存進行測試。? zero_buffers 用0初始化系統buffer。? nrfiles=8 每個進程生成文件的數量。? 順序讀：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 隨機寫：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 順序寫：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=mytest? 混合隨機讀寫：? fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=mytest -ioscheduler=noop?
三，實際測試范例：? [root@localhost ~]# fio -filename=/dev/sdb1 -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30? -runtime=100 -group_reporting -name=mytest1?
mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1? ...? mytest1: (g=0): rw=randrw, bs=16K-16K/16K-16K, ioengine=psync, iodepth=1? fio 2.0.7? Starting 30 threads? Jobs: 1 (f=1): [________________m_____________] [3.5% done] [6935K/3116K /s] [423 /190 iops] [eta 48m:20s] s]? mytest1: (groupid=0, jobs=30): err= 0: pid=23802? read?: io=1853.4MB,?bw=18967KB/s, iops=1185?, runt=100058msec? clat (usec): min=60 , max=871116 , avg=25227.91, stdev=31653.46? lat (usec): min=60 , max=871117 , avg=25228.08, stdev=31653.46? clat percentiles (msec):? | 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8],? | 30.00th=[ 10], 40.00th=[ 12], 50.00th=[ 15], 60.00th=[ 19],? | 70.00th=[ 26], 80.00th=[ 37], 90.00th=[ 57], 95.00th=[ 79],? | 99.00th=[ 151], 99.50th=[ 202], 99.90th=[ 338], 99.95th=[ 383],? | 99.99th=[ 523]? bw (KB/s) : min= 26, max= 1944, per=3.36%, avg=636.84, stdev=189.15? write: io=803600KB,?bw=8031.4KB/s, iops=501?, runt=100058msec? clat (usec): min=52 , max=9302 , avg=146.25, stdev=299.17? lat (usec): min=52 , max=9303 , avg=147.19, stdev=299.17? clat percentiles (usec):? | 1.00th=[ 62], 5.00th=[ 65], 10.00th=[ 68], 20.00th=[ 74],? | 30.00th=[ 84], 40.00th=[ 87], 50.00th=[ 89], 60.00th=[ 90],? | 70.00th=[ 92], 80.00th=[ 97], 90.00th=[ 120], 95.00th=[ 370],? | 99.00th=[ 1688], 99.50th=[ 2128], 99.90th=[ 3088], 99.95th=[ 3696],? | 99.99th=[ 5216]? bw (KB/s) : min= 20, max= 1117, per=3.37%, avg=270.27, stdev=133.27? lat (usec) : 100=24.32%, 250=3.83%, 500=0.33%, 750=0.28%, 1000=0.27%? lat (msec) : 2=0.64%, 4=3.08%, 10=20.67%, 20=19.90%, 50=17.91%? lat (msec) : 100=6.87%, 250=1.70%, 500=0.19%, 750=0.01%, 1000=0.01%? cpu : usr=1.70%, sys=2.41%, ctx=5237835, majf=0, minf=6344162? IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%? submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%? complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%? issued : total=r=118612/w=50225/d=0, short=r=0/w=0/d=0? Run status group 0 (all jobs):? READ: io=1853.4MB, aggrb=18966KB/s, minb=18966KB/s, maxb=18966KB/s, mint=100058msec, maxt=100058msec? WRITE: io=803600KB, aggrb=8031KB/s, minb=8031KB/s, maxb=8031KB/s, mint=100058msec, maxt=100058msec? Disk stats (read/write):? sdb: ios=118610/50224, merge=0/0, ticks=2991317/6860, in_queue=2998169, util=99.77%? 主要查看以上紅色字體部分的iops(read/write)?


**磁盤陣列吞吐量與IOPS兩大瓶頸分析**
1、吞吐量
吞吐量主要取決于陣列的構架，光纖通道的大小(現在陣列一般都是光纖陣列，至于SCSI這樣的SSA陣列，我們不討論)以及硬盤的個數。陣列的構架與每個陣列不同而不同，他們也都存在內部帶寬(類似于pc的系統總線)，不過一般情況下，內部帶寬都設計的很充足，不是瓶頸的所在。
光纖通道的影響還是比較大的，如數據倉庫環境中，對數據的流量要求很大，而一塊2Gb的光纖卡，所77能支撐的最大流量應當是2Gb/8(小B)=250MB/s(大B)的實際流量，當4塊光纖卡才能達到1GB/s的實際流量，所以數據倉庫環境可以考慮換4Gb的光纖卡。
最后說一下硬盤的限制，這里是最重要的，當前面的瓶頸不再存在的時候，就要看硬盤的個數了，我下面列一下不同的硬盤所能支撐的流量大小：
10 K rpm 15 K rpm ATA
——— ——— ———
10M/s 13M/s 8M/s
那么，假定一個陣列有120塊15K rpm的光纖硬盤，那么硬盤上最大的可以支撐的流量為120*13=1560MB/s，如果是2Gb的光纖卡，可能需要6塊才能夠，而4Gb的光纖卡，3-4塊就夠了。
2、IOPS
決定IOPS的主要取決與陣列的算法，cache命中率，以及磁盤個數。陣列的算法因為不同的陣列不同而不同，如我們最近遇到在hds usp上面，可能因為ldev(lun)存在隊列或者資源限制，而單個ldev的iops就上不去，所以，在使用這個存儲之前，有必要了解這個存儲的一些算法規則與限制。
cache的命中率取決于數據的分布，cache size的大小，數據訪問的規則，以及cache的算法，如果完整的討論下來，這里將變得很復雜，可以有一天好討論了。我這里只強調一個cache的命中率，如果一個陣列，讀cache的命中率越高越好，一般表示它可以支持更多的IOPS，為什么這么說呢?這個就與我們下面要討論的硬盤IOPS有關系了。
硬盤的限制，每個物理硬盤能處理的IOPS是有限制的，如
10 K rpm 15 K rpm ATA
——— ——— ———
100 150 50
同樣，如果一個陣列有120塊15K rpm的光纖硬盤，那么，它能撐的最大IOPS為120*150=18000，這個為硬件限制的理論值，如果超過這個值，硬盤的響應可能會變的非常緩慢而不能正常提供業務。
在raid5與raid10上，讀iops沒有差別，但是，相同的業務寫iops，最終落在磁盤上的iops是有差別的，而我們評估的卻正是磁盤的IOPS，如果達到了磁盤的限制，性能肯定是上不去了。
那我們假定一個case，業務的iops是10000，讀cache命中率是30%，讀iops為60%，寫iops為40%，磁盤個數為120，那么分別計算在raid5與raid10的情況下，每個磁盤的iops為多少。
raid5:
單塊盤的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4))/120
= (4200 + 16000)/120
= 168
這里的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實際只有4200個iops
而4 * (10000*0.4) 表示寫的iops，因為每一個寫，在raid5中，實際發生了4個io，所以寫的iops為16000個
為了考慮raid5在寫操作的時候，那2個讀操作也可能發生命中，所以更精確的計算為：
單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4))/120
= (4200 + 5600 + 8000)/120
= 148
計算出來單個盤的iops為148個，基本達到磁盤極限
raid10
單塊盤的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4))/120
= (4200 + 8000)/120
= 102
可以看到，因為raid10對于一個寫操作，只發生2次io，所以，同樣的壓力，同樣的磁盤，每個盤的iops只有102個，還遠遠低于磁盤的極限iops。
在一個實際的case中，一個恢復壓力很大的standby(這里主要是寫，而且是小io的寫)，采用了raid5的方案，發現性能很差，通過分析，每個磁盤的iops在高峰時期，快達到200了，導致響應速度巨慢無比。后來改造成raid10，就避免了這個性能問題，每個磁盤的iops降到100左右。

轉載于:https://my.oschina.net/guyson/blog/371601

總結

以上是生活随笔為你收集整理的linux 使用FIO测试磁盘iops的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。