Hadoop记录-监控几个思路
1.存活監(jiān)控
基本監(jiān)控,主要對(duì)進(jìn)程的存活、端口連通性、url可檢測(cè)性等指標(biāo)進(jìn)行監(jiān)控。
2.2 可用性監(jiān)控
主要指對(duì)用戶而言是否可用,能否返回預(yù)期結(jié)果,通常部署在一些業(yè)務(wù)主流程或一些關(guān)鍵環(huán)節(jié),如接口調(diào)用,平臺(tái)讀寫操作,端到端訪問等。
2.3 性能指標(biāo)
性能指標(biāo)指可能影響業(yè)務(wù)正常運(yùn)行的重要指標(biāo),一般偏離正常范圍需人工干預(yù),如io、cpu、rpc/handler tps,queue、連接數(shù)等。
2.4 容量指標(biāo)
與資源相關(guān),能直接推導(dǎo)資源用量的指標(biāo),該類指標(biāo)異常可能觸發(fā)擴(kuò)容需求,如hdfs使用率、hbase tps、es qps/iops等。
2.5 監(jiān)控對(duì)象&指標(biāo)
對(duì)象主要指被監(jiān)控的組件,如hbase,jstorm,指標(biāo)指具體的監(jiān)控項(xiàng),如hbase的tps,rs count,region count,es的iops、tps、qps等。
2.6 監(jiān)控頻率
?? 間隔多長(zhǎng)時(shí)間上報(bào)一次。
2.7 告警方式
? 是否短信告警,是否郵件告警,是否豐聲通知。
2.8 調(diào)用量監(jiān)控
主要針對(duì)接口調(diào)用次數(shù)、頻率進(jìn)行監(jiān)控,如平臺(tái)接口(USS接口)、平臺(tái)應(yīng)用接口(ubas)等。
2.9 日志監(jiān)控
針對(duì)異常比較頻繁,問題比較突出的應(yīng)用場(chǎng)景,如YARN、dataIDE、調(diào)度等底層日志異常進(jìn)行收集、監(jiān)控。
注:各類指標(biāo)可能會(huì)存在重合,但使有場(chǎng)景權(quán)重不一樣,建議按以上分類配置,可以重復(fù)。
轉(zhuǎn)載于:https://www.cnblogs.com/xinfang520/p/10452556.html
總結(jié)
以上是生活随笔為你收集整理的Hadoop记录-监控几个思路的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 迁移学习理解
- 下一篇: 欧拉(线性)筛 Miller_Rabi