Hbase集群監(jiān)控

Hbase Jmx監(jiān)控

監(jiān)控每個(gè)regionServer的總請(qǐng)求數(shù)，readRequestsCount，writeRequestCount，region分裂，region合并，Store

數(shù)據(jù)來(lái)源：

/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server

設(shè)計(jì)：

• 1.定時(shí)調(diào)度Hbase Jmx去撈取數(shù)據(jù)，數(shù)據(jù)存放在Mysql，最新的一條數(shù)據(jù)存放到redis緩存中查（設(shè)置過(guò)期時(shí)間5分鐘）并插入數(shù)據(jù)庫(kù)中(定時(shí)每五分鐘調(diào)度一次)
• 2.每次獲取Jmx數(shù)據(jù)后，從redis中獲取5分鐘前的數(shù)據(jù)，進(jìn)行計(jì)算獲取5分鐘內(nèi)的數(shù)據(jù)并保存到數(shù)據(jù)庫(kù)中

查看詳細(xì)圖片：

Hbase對(duì)每張表的讀寫監(jiān)控

數(shù)據(jù)來(lái)源：

通過(guò)Hbase Java Api

• 連接HBASEorg.apache.hadoop.hbase.client.Connection connection
• 然后獲取org.apache.hadoop.hbase.client.Admin admin = connection.getAdmin();
• 得到HBASE中的regionServer集合，
• 獲取每個(gè)regionServer中RegionsLoad()；
• 遍歷RegionLoad獲取每張表的Table Region

查看詳細(xì)圖片：

jmx常用監(jiān)控指標(biāo)

監(jiān)控指標(biāo)范圍指標(biāo)含義

OpenFileDescriptorCount	Regionserver本機(jī)	當(dāng)前機(jī)器打開(kāi)文件數(shù)
FreePhysicalMemorySize	Regionserver本機(jī)	空虛物理內(nèi)存大小
AvailableProcessors	Regionserver本機(jī)	可用cpu個(gè)數(shù)
Region前綴--storeCount	單個(gè)region	Store個(gè)數(shù)
Region前綴--storeFileCount	單個(gè)region	Storefile個(gè)數(shù)
Region前綴--memStoreSize	單個(gè)region	Memstore大小
Region前綴--storeFileSize	單個(gè)region	Storefile大小
Region前綴--compactionsCompletedCount	單個(gè)region	合并完成次數(shù)
Region前綴--numBytesCompactedCount	單個(gè)region	合并文件總大小
Region前綴-- numFilesCompactedCount	單個(gè)region	合并完成文件個(gè)數(shù)
totalRequestCount	Regionserver	總請(qǐng)求數(shù)
readRequestCount	Regionserver	讀請(qǐng)求數(shù)
writeRequestCount	Regionserver	寫請(qǐng)求數(shù)
compactedCellsCount	Regionserver	合并cell個(gè)數(shù)
majorCompactedCellsCount	Regionserver	大合并cell個(gè)數(shù)
flushedCellsSize	Regionserver	flush到磁盤的大小
blockedRequestCount	Regionserver	因memstore大于閾值而引發(fā)flush的次數(shù)
splitRequestCount	Regionserver	region分裂請(qǐng)求次數(shù)
splitSuccessCounnt	Regionserver	region分裂成功次數(shù)
slowGetCount	Regionserver	請(qǐng)求完成時(shí)間超過(guò)1000ms的次數(shù)
numOpenConnections	Regionserver	該regionserver打開(kāi)的連接數(shù)
numActiveHandler	Regionserver	rpc handler數(shù)
receivedBytes	Regionserver	收到數(shù)據(jù)量
sentBytes	Regionserver	發(fā)出數(shù)據(jù)量
HeapMemoryUsage --->>>used	Regionserver	堆內(nèi)存使用量
SyncTime_mean	Regionserver	WAL寫hdfs的平均時(shí)間
regionCount	Regionserver	Regionserver管理region數(shù)量
memStoreSize	Regionserver	Regionserver管理的總memstoresize
storeFileSize	Regionserver	該Regionserver管理的storefile大小
staticIndexSize	Regionserver	該regionserver所管理的表索引大小
storeFileCount	Regionserver	該regionserver所管理的storefile個(gè)數(shù)
hlogFileSize	Regionserver	WAL文件大小
hlogFileCount	Regionserver	WAL文件個(gè)數(shù)
storeCount	Regionserver	該regionserver所管理的store個(gè)數(shù)
Name: java.lang:type=MemoryPool,name=Par Eden Space CollectionUsage—>>used	Regionserver	Eden區(qū)使用空間大小
Name: java.lang:type=MemoryPool,name=CMS Old Gen	Regionserver	老年代內(nèi)存大小
Name: java.lang:type=MemoryPool,name=Par Survivor Space CollectionUsageà> used	Regionserver	Survivor內(nèi)存大小
GcTimeMillis	Regionserver	GC總時(shí)間
GcTimeMillisParNew	Regionserver	ParNew GC時(shí)間
GcCount	Regionserver	GC總次數(shù)
GcCountConcurrentMarkSweep	Regionserver	ConcurrentMarkSweep總次數(shù)
GcTimeMillisConcurrentMarkSweep	Regionserver	ConcurrentMarkSweep GC時(shí)間
ThreadsBlocked	Regionserver	Block線程數(shù)
ThreadsWaiting	Regionserver	等待線程數(shù)

原文鏈接：http://blogxinxiucan.sh1.newtouch.com/2017/08/10/Hbase集群監(jiān)控/

---

公眾號(hào)：it全能程序猿

---

轉(zhuǎn)載于:https://www.cnblogs.com/xinxiucan/p/7339004.html

總結(jié)

以上是生活随笔為你收集整理的Hbase集群监控的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。