linux 系統(tǒng)負(fù)載的問題

1：load Average

1.1：什么是Load？什么是Load Average?

Load 就是對計算機(jī)干活多少的度量(WikiPedia：the system Load is a measure of the amount of work that a?compute system is doing)

簡單的說是進(jìn)程隊列的長度。Load Average 就是一段時間(1分鐘、5分鐘、15分鐘)內(nèi)平均Load。【參考文章：unix Load Average Part1：How It Works】

1.2：查看指令：

w or uptime or procinfo or top

load average: 0.02, 0.27, 0.17

1 per/minute 5 per/minute 15 per/minute

1.3：如何判斷系統(tǒng)是否已經(jīng)Over Load？

對一般的系統(tǒng)來說,根據(jù)cpu 數(shù)量去判斷。如果平均負(fù)載始終在1.2一下，而你有2顆cup的機(jī)器。那么基本不會出現(xiàn)cpu不夠用的情況。也就是Load 平均要小于Cpu 的數(shù)量。

1.4：Load 與容量規(guī)劃(Capacity Planning)

一般是會根據(jù)15分鐘那個load 平均值為首先。

1.5：Load 誤解：

1：系統(tǒng)load 高一定是性能有問題。

真相：Load 高也許是因為在進(jìn)行cpu 密集型的計算

2：系統(tǒng)Load 高一定是CPU能力問題或數(shù)量不夠。

真相：Load 高只是代表需要運(yùn)行的隊列累計過多了。但隊列中的任務(wù)實際可能是耗Cpu 的，也可能是耗i/0子系統(tǒng)等其他因素的。

3：系統(tǒng)長期Load高，首先增加CPU

真相：Load只是表象，不是實質(zhì)。增加CPU個別情況下會臨時看到Load下降，但治標(biāo)不治本。

2：在Load average 高的情況下如何鑒別系統(tǒng)瓶頸。

是CPU 不足，還是io 不夠快造成或是內(nèi)存不足？

2.1：查看系統(tǒng)負(fù)載vmstat

Vmstat

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

0 0 100152 2436 97200 289740 0 1 34 45 99 33 0 0 99 0

procs

r 列表示運(yùn)行和等待cpu 時間片的進(jìn)程數(shù)，如果長期大于1，說明cpu 不足，需要增加cpu。

b 列表示在等待資源的進(jìn)程數(shù)，比如正在等待I/O、或者內(nèi)存交換等。

cpu 表示cpu的使用狀態(tài)

us 列顯示了用戶方式下所花費(fèi)CPU 時間的百分比。us 的值比較高時，說明用戶進(jìn)程消耗的cpu 時間多，但

是如果長期大于50%，需要考慮優(yōu)化用戶的程序。

sy 列顯示了內(nèi)核進(jìn)程所花費(fèi)的cpu時間的百分比。這里us + sy 的參考值為80%，如果us+sy 大于80%說明可能存在CPU 不足。

wa列顯示了IO 等待所占用的CPU 時間的百分比。這里wa 的參考值為30%，如果wa 超過30%，說明IO 等待嚴(yán)重，這可能是磁盤大量隨機(jī)訪問造成的，也可能磁盤或者磁盤訪問控制器的帶寬瓶頸造成的(主要是塊操作)。

id 列顯示了cpu 處在空閑狀態(tài)的時間百分比

system 顯示采集間隔內(nèi)發(fā)生的中斷數(shù)

in 列表示在某一時間間隔中觀測到的每秒設(shè)備中斷數(shù)。

cs 列表示每秒產(chǎn)生的上下文切換次數(shù)，如當(dāng)cs比磁盤I/O 和網(wǎng)絡(luò)信息包速率高得多，都應(yīng)進(jìn)行進(jìn)一步調(diào)查。

memory

swpd 切換到內(nèi)存交換區(qū)的內(nèi)存數(shù)量(k 表示)。如果swpd 的值不為0，或者比較大，比如超過了100m，只要

si、so 的值長期為0，系統(tǒng)性能還是正常

free 當(dāng)前的空閑頁面列表中內(nèi)存數(shù)量(k 表示)

buff 作為buffer cache 的內(nèi)存數(shù)量，一般對塊設(shè)備的讀寫才需要緩沖。

cache: 作為page cache 的內(nèi)存數(shù)量，一般作為文件系統(tǒng)的cache，如果cache 較大，說明用到cache 的文件較

多，如果此時IO 中bi 比較小，說明文件系統(tǒng)效率比較好。

swap

si 由內(nèi)存進(jìn)入內(nèi)存交換區(qū)數(shù)量。

so 由內(nèi)存交換區(qū)進(jìn)入內(nèi)存數(shù)量。

IO

bi 從塊設(shè)備讀入數(shù)據(jù)的總量(讀磁盤)(每秒kb)。

bo 塊設(shè)備寫入數(shù)據(jù)的總量(寫磁盤)(每秒kb)

這里我們設(shè)置的bi+bo 參考值為1000，如果超過1000，而且wa 值較大應(yīng)該考慮均衡磁盤負(fù)載，可以結(jié)合iostat輸出來分析。

2.2：查看磁盤負(fù)載iostat

每隔2秒統(tǒng)計一次磁盤IO 信息，直到按Ctrl+C 終止程序，-d 選項表示統(tǒng)計磁盤信息， -k 表示以每秒KB的形式顯示，-t 要求打印出時間信息，2 表示每隔2秒輸出一次。第一次輸出的磁盤IO 負(fù)載狀況提供了關(guān)于自從系統(tǒng)啟動以來的統(tǒng)計信息。隨后的每一次輸出則是每個間隔之間的平均IO 負(fù)載狀況。

# iostat -x 1 10

Linux 2.6.18-92.el5xen 02/03/2009

avg-cpu: %user %nice %system %iowait %steal %idle

1.10 0.00 4.82 39.54 0.07 54.46

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util

sda 0.00 3.50 0.40 2.50 5.60 48.00 18.48 0.00 0.97 0.97 0.28

sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sde 0.00 0.10 0.30 0.20 2.40 2.40 9.60 0.00 1.60 1.60 0.08

sdf 17.40 0.50 102.00 0.20 12095.20 5.60 118.40 0.70 6.81 2.09 21.36

sdg 232.40 1.90 379.70 0.50 76451.20 19.20 201.13 4.94 13.78 2.45 93.16

rrqm/s: 每秒進(jìn)行merge 的讀操作數(shù)目。即delta(rmerge)/s

wrqm/s: 每秒進(jìn)行merge 的寫操作數(shù)目。即delta(wmerge)/s

r/s: 每秒完成的讀I/O 設(shè)備次數(shù)。即delta(rio)/s

w/s: 每秒完成的寫I/O 設(shè)備次數(shù)。即delta(wio)/s

rsec/s: 每秒讀扇區(qū)數(shù)。即delta(rsect)/s

wsec/s: 每秒寫扇區(qū)數(shù)。即delta(wsect)/s

rkB/s: 每秒讀K 字節(jié)數(shù)。是rsect/s 的一半，因為每扇區(qū)大小為512字節(jié)。(需要計算)

wkB/s: 每秒寫K 字節(jié)數(shù)。是wsect/s 的一半。(需要計算)

avgrq-sz: 平均每次設(shè)備I/O 操作的數(shù)據(jù)大小(扇區(qū))。delta(rsect+wsect)/delta(rio+wio)

avgqu-sz: 平均I/O 隊列長度。即delta(aveq)/s/1000 (因為aveq 的單位為毫秒)。

await: 平均每次設(shè)備I/O 操作的等待時間(毫秒)。即delta(ruse+wuse)/delta(rio+wio)

svctm: 平均每次設(shè)備I/O 操作的服務(wù)時間(毫秒)。即delta(use)/delta(rio+wio)

%util: 一秒中有百分之多少的時間用于I/O 操作，或者說一秒中有多少時間I/O 隊列是非空的。即

delta(use)/s/1000 (因為use 的單位為毫秒)

如果%util 接近100%，說明產(chǎn)生的I/O 請求太多，I/O 系統(tǒng)已經(jīng)滿負(fù)荷，該磁盤

可能存在瓶頸。

idle小于70% IO壓力就較大了,一般讀取速度有較多的wait.

同時可以結(jié)合vmstat 查看查看b 參數(shù)(等待資源的進(jìn)程數(shù))和wa 參數(shù)(IO 等待所占用的CPU 時間的百分比高過30%時IO壓力高)

另外還可以參考

一般:

svctm < await (因為同時等待的請求的等待時間被重復(fù)計算了)，

svctm 的大小一般和磁盤性能有關(guān):CPU/內(nèi)存的負(fù)荷也會對其有影響，請求過多也會間接導(dǎo)致svctm 的增

加。

await: await 的大小一般取決于服務(wù)時間(svctm) 以及I/O 隊列的長度和I/O 請求的發(fā)出模式。

如果svctm 比較接近await，說明I/O 幾乎沒有等待時間；

如果await 遠(yuǎn)大于svctm，說明I/O 隊列太長，應(yīng)用得到的響應(yīng)時間變慢，

如果響應(yīng)時間超過了用戶可以容許的范圍，這時可以考慮更換更快的磁盤，調(diào)整內(nèi)核elevator 算法，優(yōu)化

應(yīng)用，或者升級CPU。

隊列長度(avgqu-sz)也可作為衡量系統(tǒng)I/O 負(fù)荷的指標(biāo)，但由于avgqu-sz 是按照單位時間的平均值，所

以不能反映瞬間的I/O 洪水。

別人一個不錯的例子.(I/O 系統(tǒng)vs. 超市排隊)

舉一個例子，我們在超市排隊checkout 時，怎么決定該去哪個交款臺呢? 首當(dāng)是看排的隊人數(shù)，5個人

總比20人要快吧?除了數(shù)人頭，我們也常常看看前面人購買的東西多少，如果前面有個采購了一星期食品的大媽，那么可以考慮換個隊排了。還有就是收銀員的速度了，如果碰上了連錢都點不清楚的新手，那就有的等了。另外，時機(jī)也很重要，可能5分鐘前還人滿為患的收款臺，現(xiàn)在已是人去樓空，這時候交款可是很爽啊。當(dāng)然，前提是那過去的5分鐘里所做的事情比排隊要有意義(不過我還沒發(fā)現(xiàn)什么事情比排隊還無聊的)。

I/O 系統(tǒng)也和超市排隊有很多類似之處:

r/s+w/s 類似于交款人的總數(shù)

平均隊列長度(avgqu-sz)類似于單位時間里平均排隊人的個數(shù)

平均服務(wù)時間(svctm)類似于收銀員的收款速度

平均等待時間(await)類似于平均每人的等待時間

平均I/O 數(shù)據(jù)(avgrq-sz)類似于平均每人所買的東西多少

I/O 操作率(%util)類似于收款臺前有人排隊的時間比例。

我們可以根據(jù)這些數(shù)據(jù)分析出I/O 請求的模式，以及I/O 的速度和響應(yīng)時間。

下面是別人寫的這個參數(shù)輸出的分析

# iostat -x 1

avg-cpu: %user %nice %sys %idle

16.24 0.00 4.31 79.44

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/cciss/c0d0

0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29

/dev/cciss/c0d0p1

0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29

/dev/cciss/c0d0p2

0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

上面的iostat 輸出表明秒有28.57 次設(shè)備I/O 操作: 總IO(io)/s = r/s(讀) +w/s(寫) = 1.02+27.55 = 28.57

(次/秒) 其中寫操作占了主體(w:r = 27:1)。

平均每次設(shè)備I/O 操作只需要5ms 就可以完成，但每個I/O 請求卻需要等上78ms，為什么? 因為發(fā)出的I/O 請求太多(每秒鐘約29 個)，假設(shè)這些請求是同時發(fā)出的，那么平均等待時間可以這樣計算:

平均等待時間= 單個I/O 服務(wù)時間* ( 1 + 2 + ... + 請求總數(shù)-1) / 請求總數(shù)

應(yīng)用到上面的例子: 平均等待時間= 5ms * (1+2+...+28)/29 = 70ms，和iostat 給出的78ms 的平均等待時間很接近。這反過來表明I/O 是同時發(fā)起的。

每秒發(fā)出的I/O 請求很多(約29 個)，平均隊列卻不長(只有2 個左右)，這表明這29 個請求的到來

并不均勻，大部分時間I/O 是空閑的。一秒中有14.29% 的時間I/O 隊列中是有請求的，也就是說，85.71% 的時間里I/O 系統(tǒng)無事可做，所有29 個I/O 請求都在142毫秒之內(nèi)處理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s=78.21 * delta(io)/s = 78.21*28.57 =2232.8，表明每秒內(nèi)的I/O 請求總共需要等待2232.8ms。所以平均隊列長度應(yīng)為2232.8ms/1000ms = 2.23，而iostat 給出的平均隊列長度(avgqu-sz) 卻為22.35，為什么?! 因為iostat 中有bug，avgqu-sz 值應(yīng)為2.23，而不是22.35。

總結(jié)

以上是生活随笔為你收集整理的linux 系统负载异常,linux 系统负载的问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。