线上服务CPU100%问题快速定位实战(转载公众号:架构师之路)
功能問題,通過日志,單步調(diào)試相對比較好定位。
?
性能問題,例如線上服務(wù)器CPU100%,如何找到相關(guān)服務(wù),如何定位問題代碼,更考驗技術(shù)人的功底。
?
58到家架構(gòu)部,運維部,58速運技術(shù)部聯(lián)合進(jìn)行了一次線上服務(wù)CPU問題排查實戰(zhàn)演練,同學(xué)們反饋有收獲,特將實戰(zhàn)演練的試題和答案公布出來,希望對大家也有幫助。
?
題目
某服務(wù)器上部署了若干tomcat實例,即若干垂直切分的Java站點服務(wù),以及若干Java微服務(wù),突然收到運維的CPU異常告警。
問:如何定位是哪個服務(wù)進(jìn)程導(dǎo)致CPU過載,哪個線程導(dǎo)致CPU過載,哪段代碼導(dǎo)致CPU過載?
?
步驟一、找到最耗CPU的進(jìn)程
工具:top
方法:
執(zhí)行top -c?,顯示進(jìn)程運行信息列表
鍵入P?(大寫p),進(jìn)程按照CPU使用率排序
圖示:
如上圖,最耗CPU的進(jìn)程PID為10765
?
步驟二:找到最耗CPU的線程
工具:top
方法:
top -Hp 10765?,顯示一個進(jìn)程的線程運行信息列表
鍵入P?(大寫p),線程按照CPU使用率排序
圖示:
如上圖,進(jìn)程10765內(nèi),最耗CPU的線程PID為10804
?
步驟三:將線程PID轉(zhuǎn)化為16進(jìn)制
工具:printf
方法:printf “%x\n” 10804
圖示:
如上圖,10804對應(yīng)的16進(jìn)制是0x2a34,當(dāng)然,這一步可以用計算器。
?
之所以要轉(zhuǎn)化為16進(jìn)制,是因為堆棧里,線程id是用16進(jìn)制表示的。
?
步驟四:查看堆棧,找到線程在干嘛
工具:pstack/jstack/grep
方法:jstack 10765 | grep ‘0x2a34’ -C5 --color
打印進(jìn)程堆棧
通過線程id,過濾得到線程堆棧
圖示:
如上圖,找到了耗CPU高的線程對應(yīng)的線程名稱“AsyncLogger-1”,以及看到了該線程正在執(zhí)行代碼的堆棧。
?
希望對經(jīng)常進(jìn)行線上CPU問題排查的同學(xué)有幫助,如果有更好的實踐,也歡迎分享。
想要印象深刻,請大家務(wù)必線上實操練習(xí)喲。
總結(jié)
以上是生活随笔為你收集整理的线上服务CPU100%问题快速定位实战(转载公众号:架构师之路)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我国,何时依法量刑处理:冲人嗝气霸凌行径
- 下一篇: 监控系统