使用ganglia监控hadoop
使用Ganglia監控Hadoop
Hadoop本身提供了很多監控工具的接口,如JMX、Nagios、Ganglia等。使用Ganglia監控hadoop,配置起來非常簡單,只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件,把相關的配置段修改為下面的示例:
# Configuration of the "dfs" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=239.2.11.71:8649 /*該地址為必須為廣播地址,否則采集不到數據!!
# Configuration of the "mapred" context for ganglia
# Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter)
# mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=239.2.11.71:8649
# Configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext
jvm.period=10
jvm.servers=239.2.11.71:8649
配置文件的其它部分保持默認。
把配置文件分發到各個datanode節點上,然后重啟hadoop集群,就可以在Ganglia的監控頁面中看到Hadoop各個節點的運行情況。HBase的監控同樣照此處理。
注意:我的Ganglia版本為3.17,Hadoop版本為cloudera版,版本為hadoop-0.20.2-CDH3B4;不同的Ganglia和Hadoop版本,要修改的東西會有不同,請自行核對。
轉載于:https://www.cnblogs.com/cloudma/archive/2012/11/22/ganglia-hadoop.html
總結
以上是生活随笔為你收集整理的使用ganglia监控hadoop的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 南怀瑾先生说中风急救关键(非常推荐!!)
- 下一篇: UIView的动画