原文鏈接地址： http://os.51cto.com/art/201006/207694.htm

磁盤I/O 子系統(tǒng)是Linux 系統(tǒng)中最慢的部分.這個(gè)主要是歸于CPU到物理操作磁盤之間距離(譯注:盤片旋轉(zhuǎn)以及尋道).如果拿讀取磁盤和內(nèi)存的時(shí)間作比較就是分鐘級(jí)到秒級(jí)，這就像7天和7分鐘的區(qū)別.因此本質(zhì)上，Linux 內(nèi)核就是要最低程度的降低I/O 數(shù).本章將訴述內(nèi)核在磁盤和內(nèi)存之間處理數(shù)據(jù)的這個(gè)過程中，哪些地方會(huì)產(chǎn)生I/O.

6.1 讀和寫數(shù)據(jù) - 內(nèi)存頁

Linux 內(nèi)核將硬盤I/O 進(jìn)行分頁，多數(shù)Linux 系統(tǒng)的默認(rèn)頁大小為4K.讀和寫磁盤塊進(jìn)出到內(nèi)存都為4K 頁大小.你可以使用time 這個(gè)命令加-v 參數(shù)，來檢查你系統(tǒng)中設(shè)置的頁大小:

# /usr/bin/time -v date

Page size (bytes): 4096

6.2 Major and Minor Page Faults(譯注:主要頁錯(cuò)誤和次要頁錯(cuò)誤)

Linux，類似多數(shù)的UNIX 系統(tǒng)，使用一個(gè)虛擬內(nèi)存層來映射硬件地址空間.當(dāng)一個(gè)進(jìn)程被啟動(dòng)，內(nèi)核先掃描CPU caches和物理內(nèi)存.如果進(jìn)程需要的數(shù)據(jù)在這2個(gè)地方都沒找到，就需要從磁盤上讀取，此時(shí)內(nèi)核過程就是major page fault(MPF).MPF 要求磁盤子系統(tǒng)檢索頁并緩存進(jìn)RAM.

一旦內(nèi)存頁被映射進(jìn)內(nèi)存的buffer cache(buff)中，內(nèi)核將嘗試從內(nèi)存中讀取或?qū)懭?#xff0c;此時(shí)內(nèi)核過程就是minor page fault(MnPF).與在磁盤上操作相比，MnPF 通過反復(fù)使用內(nèi)存中的內(nèi)存頁就大大的縮短了內(nèi)核時(shí)間.

以下的例子，使用time 命令驗(yàn)證了，當(dāng)進(jìn)程啟動(dòng)后，MPF 和 MnPF 的變化情況.第一次運(yùn)行進(jìn)程，MPF 會(huì)更多:

# /usr/bin/time -v evolution

Major (requiring I/O) page faults: 163

Minor (reclaiming a frame) page faults: 5918

第二次再運(yùn)行時(shí)，內(nèi)核已經(jīng)不需要進(jìn)行MPF了，因?yàn)檫M(jìn)程所需的數(shù)據(jù)已經(jīng)在內(nèi)存中:

# /usr/bin/time -v evolution

Major (requiring I/O) page faults: 0

Minor (reclaiming a frame) page faults: 5581

6.3 The File Buffer Cache(譯注:文件緩存區(qū))

文件緩存區(qū)就是指，內(nèi)核將MPF 過程最小化，MnPF 過程最大化.隨著系統(tǒng)不斷的產(chǎn)生I/O，buffer cache也將不斷的增加.直到內(nèi)存不夠，以及系統(tǒng)需要釋放老的內(nèi)存頁去給其他用戶進(jìn)程使用時(shí)，系統(tǒng)就會(huì)丟棄這些內(nèi)存頁.結(jié)果是，很多sa(譯注:系統(tǒng)管理員)對(duì)系統(tǒng)中過少的free memory(譯注:空閑內(nèi)存)表示擔(dān)心，實(shí)際上這是系統(tǒng)更高效的在使用caches.

以下例子，是查看/proc/meminfo 文件:

# cat /proc/meminfo

MemTotal: 2075672 kB

MemFree: 52528 kB

Buffers: 24596 kB

Cached: 1766844 kB

可以看出，這個(gè)系統(tǒng)總計(jì)有2GB (Memtotal)的可用內(nèi)存.當(dāng)前的空閑內(nèi)存為52MB (MemFree)，有24 MB內(nèi)存被分配磁盤寫操作(Buffers)，還有1.7 GB頁用于讀磁盤(Cached).

內(nèi)核這樣是通過MnPF機(jī)制，而不代表所有的頁都是來自磁盤.通過以上部分，我們不可能確認(rèn)系統(tǒng)是否處于瓶頸中.

6.4 Type of Memory Pages

在Linux 內(nèi)核中，memory pages有3種，分別是:

1，Read Pages - 這些頁通過MPF 從磁盤中讀入，而且是只讀.這些頁存在于Buffer Cache中以及包括不能夠修改的靜態(tài)文件，二進(jìn)制文件，還有庫(kù)文件.當(dāng)內(nèi)核需要它們時(shí)，將讀取到內(nèi)存中.如果內(nèi)存不足，內(nèi)核將釋放它們回空閑列表中.程序再次請(qǐng)求時(shí)，則通過MPF 再次讀回內(nèi)存.

2，Dirty Pages - 這些頁是內(nèi)核在內(nèi)存中已經(jīng)被修改過的數(shù)據(jù)頁.當(dāng)這些頁需要同步回磁盤上，由pdflush 負(fù)責(zé)寫回磁盤.如果內(nèi)存不足，kswapd (與pdflush 一起)將這些頁寫回到磁盤上并釋放更多的內(nèi)存.

3，Anonymous Pages - 這些頁屬于某個(gè)進(jìn)程，但是沒有任何磁盤文件和它們有關(guān).他們不能和同步回磁盤.如果內(nèi)存不足，kswapd 將他們寫入swap 分區(qū)上并釋放更多的內(nèi)存("swapping" pages).

6.5 將數(shù)據(jù)頁寫回磁盤

應(yīng)用程序有很多選擇可以寫臟頁回磁盤上，可通過I/O 調(diào)度器使用 fsync() 或 sync() 這樣的系統(tǒng)函數(shù)來實(shí)現(xiàn)立即寫回.如果應(yīng)用程序沒有調(diào)用以上函數(shù)，pdflush 進(jìn)程會(huì)定期與磁盤進(jìn)行同步.

# ps -ef | grep pdflush

root 186 6 0 18:04 ? 00:00:00 [pdflush]

7.0 監(jiān)控 I/O

當(dāng)覺得系統(tǒng)中出現(xiàn)了I/O 瓶頸時(shí)，可以使用標(biāo)準(zhǔn)的監(jiān)控軟件來查找原因.這些工具包括了top，vmstat，iostat，sar.它們的輸出結(jié)果一小部分是很相似，不過每個(gè)也都提供了各自對(duì)于性能不同方面的解釋.以下章節(jié)就將討論哪些情況會(huì)導(dǎo)致I/O 瓶頸的出現(xiàn).

7.1 Calculating IO's Per Second(譯注:IOPS 的計(jì)算)

每個(gè)I/O 請(qǐng)求到磁盤都需要若干時(shí)間.主要是因?yàn)榇疟P的盤邊必須旋轉(zhuǎn)，機(jī)頭必須尋道.磁盤的旋轉(zhuǎn)常常被稱為"rotational delay"(RD)，機(jī)頭的移動(dòng)稱為"disk seek"(DS).一個(gè)I/O 請(qǐng)求所需的時(shí)間計(jì)算就是DS加上RD.磁盤的RD 基于設(shè)備自身RPM 單位值(譯注:RPM 是Revolutions Perminute的縮寫，是轉(zhuǎn)/每分鐘，代表了硬盤的轉(zhuǎn)速).一個(gè)RD 就是一個(gè)盤片旋轉(zhuǎn)的

半圓.如何計(jì)算一個(gè)10K RPM設(shè)備的RD 值呢:

1， 10000 RPM / 60 seconds (10000/60 = 166 RPS)

2， 轉(zhuǎn)換為 166分之1 的值(1/166 = 0.006 seconds/Rotation)

3， 單位轉(zhuǎn)換為毫秒(6 MS/Rotation)

4， 旋轉(zhuǎn)半圓的時(shí)間(6/2 = 3MS) 也就是 RD

5， 加上平均3 MS 的尋道時(shí)間 (3MS + 3MS = 6MS)

6， 加上2MS 的延遲(6MS + 2MS = 8MS)

7， 1000 MS / 8 MS (1000/8 = 125 IOPS)

每次應(yīng)用程序產(chǎn)生一個(gè)I/O，在10K RPM磁盤上都要花費(fèi)平均 8MS.在這個(gè)固定時(shí)間里，磁盤將盡可能且有效率在進(jìn)行讀寫磁盤.IOPS 可以計(jì)算出大致的I/O 請(qǐng)求數(shù)，10K RPM 磁盤有能力提供120-150 次IOPS.評(píng)估IOPS 的效能，可用每秒讀寫I/O 字節(jié)數(shù)除以每秒讀寫IOPS 數(shù)得出.

7.2 Random vs Sequential I/O(譯注:隨機(jī)/順序 I/O)

per I/O產(chǎn)生的KB 字節(jié)數(shù)是與系統(tǒng)本身workload相關(guān)的，有2種不同workload的類型，它們是sequential和random.

7.2.1 Sequential I/O(譯注:順序IO)

iostat 命令提供信息包括IOPS 和每個(gè)I/O 數(shù)據(jù)處理的總額.可使用iostat -x 查看.順序的workload是同時(shí)讀順序請(qǐng)求大量的數(shù)據(jù).這包括的應(yīng)用，比如有商業(yè)數(shù)據(jù)庫(kù)(database)在執(zhí)行大量的查詢和流媒體服務(wù).在這個(gè)workload 中，KB per I/O 的比率應(yīng)該是很高的.Sequential workload 是可以同時(shí)很快的移動(dòng)大量數(shù)據(jù).如果每個(gè)I/O 都節(jié)省了時(shí)間，那就意味了能帶來更多的數(shù)據(jù)處理.

# iostat -x 1

avg-cpu: %user %nice %sys %idle

0.00 0.00 57.1 4 42.86

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/sda 0.00 12891.43 0.00 105.71 0.00 1 06080.00 0.00 53040.00 1003.46 1099.43 3442.43 26.49 280.00

/dev/sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

/dev/sda2 0.00 12857.14 0.00 5.71 0.00 105782.86 0.00 52891.43 18512.00 559.14 780.00 490.00 280.00

/dev/sda3 0.00 34.29 0.00 100.00 0.00 297.14 0.00 148.57 2.97 540.29 594.57 24.00 240.00

avg-cpu: %user %nice %sys %idle

0.00 0.00 23.53 76.47

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/sda 0.00 17320.59 0.00 102.94 0.00 142305.88 0.00 71152.94 1382.40 6975.29 952.29 28.57 294.12

/dev/sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

/dev/sda2 0.00 16844.12 0.00 102.94 0.00 138352.94 0.00 69176.47 1344.00 6809.71 952.29 28.57 294.12

/dev/sda3 0.00 476.47 0.00 0.00 0.00 952.94 0.00 1976.47 0.00 165.59 0.00 0.00 276.47

評(píng)估IOPS 的效能，可用每秒讀寫I/O 字節(jié)數(shù)除以每秒讀寫IOPS 數(shù)得出，比如

rkB/s 除以 r/s

wkB/s 除以 w/s

53040/105 = 505KB per I/O

71152/102 = 697KB per I/O

在上面例子可看出，每次循環(huán)下，/dev/sda 的per I/O 都在增加.

7.2.2 Random I/O(譯注:隨機(jī)IO)

Random的worklaod環(huán)境下，不依賴于數(shù)據(jù)大小的多少，更多依賴的是磁盤的IOPS 數(shù).Web和Mail 服務(wù)就是典型的Random workload.I/O 請(qǐng)求內(nèi)容都很小.Random workload是同時(shí)每秒會(huì)有更多的請(qǐng)求數(shù)產(chǎn)生.所以，磁盤的IOPS 數(shù)是關(guān)鍵.

# iostat -x 1

avg-cpu: %user %nice %sys %idle

2.04 0.00 97.96 0.00

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/sda 0.00 633.67 3.06 102.31 24.49 5281.63 12.24 2640.82 288.89 73.67 113.89 27.22 50.00

/dev/sda1 0.00 5.10 0.00 2.04 0.00 57.14 0.00 28.57 28.00 1.12 55.00 55.00 11.22

/dev/sda2 0.00 628.57 3.06 100.27 24.49 5224.49 12.24 2612.24 321.50 72.55 121.25 30.63 50.00

/dev/sda3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

avg-cpu: %user %nice %sys %idle

2.15 0.00 97.85 0.00

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/sda 0.00 41.94 6.45 130.98 51.61 352.69 25.81 3176.34 19.79 2.90 286.32 7.37 15.05

/dev/sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

/dev/sda2 0.00 41.94 4.30 130.98 34.41 352.69 17.20 3176.34 21.18 2.90 320.00 8.24 15.05

/dev/sda3 0.00 0.00 2.15 0.00 17.20 0.00 8.60 0.00 8.00 0.00 0.00 0.00 0.00

計(jì)算方式和之前的公式一致:

2640/102 = 23KB per I/O

3176/130 = 24KB per I/O

(譯注:對(duì)于順序I/O來說，主要是考慮讀取大量數(shù)據(jù)的能力即KB per request.對(duì)于隨機(jī)I/O系統(tǒng)，更需要考慮的是IOPS值)

7.3 When Virtual Memory Kills I/O

如果系統(tǒng)沒有足夠的RAM 響應(yīng)所有的請(qǐng)求，就會(huì)使用到SWAP device.就像使用文件系統(tǒng)I/O，使用SWAP device 代價(jià)也很大.如果系統(tǒng)已經(jīng)沒有物理內(nèi)存可用，那就都在SWAP disk上創(chuàng)建很多很多的內(nèi)存分頁，如果同一文件系統(tǒng)的數(shù)據(jù)都在嘗試訪問SWAP device，那系統(tǒng)將遇到I/O 瓶頸.最終導(dǎo)致系統(tǒng)性能的全面崩潰.如果內(nèi)存頁不能夠及時(shí)讀或?qū)懘疟P，它們就一直保留在RAM中.如果保留時(shí)間太久，內(nèi)核又必須釋放內(nèi)存空間.問題來了，I/O 操作都被阻塞住了，什么都沒做就被結(jié)束了，不可避免地就出現(xiàn)kernel panic和system crash.

下面的vmstat 示范了一個(gè)內(nèi)存不足情況下的系統(tǒng):

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

17 0 1250 3248 45820 1488472 30 132 992 0 2437 7657 23 50 0 23

11 0 1376 3256 45820 1488888 57 245 416 0 2391 7173 10 90 0 0

12 0 1582 1688 45828 1490228 63 131 1348 76 2432 7315 10 90 0 10

12 2 3981 1848 45468 1489824 185 56 2300 68 2478 9149 15 12 0 73

14 2 10385 2400 44484 1489732 0 87 1112 20 2515 11620 0 12 0 88

14 2 12671 2280 43644 1488816 76 51 1812 204 2546 11407 20 45 0 35

這個(gè)結(jié)果可看出，大量的讀請(qǐng)求回內(nèi)存(bi)，導(dǎo)致了空閑內(nèi)存在不斷的減少(free).這就使得系統(tǒng)寫入swap device的塊數(shù)目(so)和swap 空間(swpd)在不斷增加.同時(shí)看到CPU WIO time(wa)百分比很大.這表明I/O 請(qǐng)求已經(jīng)導(dǎo)致CPU 開始效率低下.

要看swaping 對(duì)磁盤的影響，可使用iostat 檢查swap 分區(qū)

# iostat -x 1

avg-cpu: %user %nice %sys %idle

0.00 0.00 100.00 0.00

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/sda 0.00 1766.67 4866.67 1700.00 38933.33 31200.00 19466.67 15600.00 10.68 6526.67 100.56 5.08 3333.33

/dev/sda1 0.00 933.33 0.00 0.00 0.00 7733.33 0.00 3866.67 0.00 20.00 2145.07 7.37 200.00

/dev/sda2 0.00 0.00 4833.33 0.00 38666.67 533.33 19333.33 266.67 8.11 373.33 8.07 6.90 87.00

/dev/sda3 0.00 833.33 33.33 1700.00 266.67 22933.33 133.33 11466.67 13.38 6133.33 358.46 11.35 1966.67

在這個(gè)例子中，swap device(/dev/sda1) 和 file system device(/dev/sda3)在互相作用于I/O. 其中任一個(gè)會(huì)有很高寫請(qǐng)求(w/s)，也會(huì)有很高wait time(await)，或者較低的服務(wù)時(shí)間比率(svctm).這表明2個(gè)分區(qū)之間互有聯(lián)系，互有影響.

7.4 結(jié)論

I/O 性能監(jiān)控包含了以下幾點(diǎn):

1，當(dāng)CPU 有等待I/O 情況時(shí)，那說明磁盤處于超負(fù)荷狀態(tài).

2，計(jì)算你的磁盤能夠承受多大的IOPS 數(shù).

3，確定你的應(yīng)用是屬于隨機(jī)或者順序讀取磁盤.

4，監(jiān)控磁盤慢需要比較wait time(await) 和 service time(svctm).

5，監(jiān)控swap 和系統(tǒng)分區(qū)，要確保virtual memory不是文件系統(tǒng)I/O 的瓶頸.

總結(jié)

以上是生活随笔為你收集整理的Linux系统监控之磁盘I/O篇的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。