Hadoop配置Ganglia指南
- - CSDN博客云计算推荐文章编辑/etc/ganglia/gmond.conf. # This option tells gmond to use a source address. # this, the metrics may appear to come from any.
Hadoop配置Ganglia指南
标签：
hadoop
ganglia
| 发表时间：2013-12-12 03:00 | 作者：j2eelamp
出处：http://blog.csdn.net
Server端：
yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php
Client端：
yum install ganglia-gmond
创建RRD目录
mkdir -p /var/lib/ganglia/rrds
chown ganglia:ganglia /var/lib/ganglia/rrds
chown ganglia:ganglia /var/lib/ganglia/rrds
编辑/etc/ganglia/gmond.conf
cluster {
name = "DFS"
owner = "unspecified"
latlong = "unspecified"
url = "unspecified"
}
udp_send_channel {
#bind_hostname = yes # Highly recommended, soon to be default.
# This option tells gmond to use a source address
# that resolves to the machine's hostname. Without
# this, the metrics may appear to come from any
# interface and the DNS names associated with
# those IPs will be used to create the RRDs.
mcast_join = master.hadoop.test
port = 8649
ttl = 1
}
/* You can specify as many udp_recv_channels as you like as well. */
udp_recv_channel {
port = 8649
bind = master.hadoop.test
}
/* You can specify as many tcp_accept_channels as you like to share
an xml description of the state of the cluster */
tcp_accept_channel {
bind = master.hadoop.test
port = 8649
}
编辑/etc/ganglia/gmetad.conf
data_source "DFS" master.hadoop.test:8649
安装ganglia-web
cd /var/www/html
wget http://softlayer-dal.dl.sourceforge.net/project/ganglia/ganglia-web/3.5.10/ganglia-web-3.5.10.tar.gz
tar zxvf ganglia-web-3.5.7.tar.gz
mv ganglia-web-3.5.7 ganglia
修改Apache配置
vim /etc/httpd/conf.d/ganglia.conf
<Location /ganglia>
Order deny,allow
Allow from all
</Location>
# 开机运行采集进程
chkconfig --levels 235 gmond on
# 开机运行数据存储进程
chkconfig --levels 235 gmetad on
# 开机运行apache服务
chkconfig --levels 235 httpd on
chkconfig --levels 235 gmond on
# 开机运行数据存储进程
chkconfig --levels 235 gmetad on
# 开机运行apache服务
chkconfig --levels 235 httpd on
启动服务
service gmond start
service gmetad start
service httpd restart
service gmetad start
service httpd restart
修改hadoop配置：
vim $HADOOP_HOME/conf/hadoop-metrics.properties
# Configuration of the "dfs" context for ganglia
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=master.hadoop.test:8649
# Configuration of the "mapred" context for ganglia
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=master.hadoop.test:8649
# Configuration of the "jvm" context for ganglia
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
jvm.period=10
jvm.servers=master.hadoop.test:8649
rpc.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
rpc.period=10
rpc.servers=master.hadoop.test:8649
重启Hadoop
访问http://${ganglia_home}/ganglia
作者：j2eelamp 发表于2013-12-11 19:00:40 原文链接
阅读：124 评论：0 查看评论
相关 [hadoop ganglia] 推荐：
nagios+Ganglia安装备忘录
- - DBA Blogvi /etc/ld.so.conf.d/libconfuse.conf，添加：/usr/local/lib，然后/sbin/ldconfig -v. Ganglia web前端的安装：. Ganglia的Wiki特别指出，web前端的运行需要rrdtool，以及gmetad中的rrds/目录，没有这两个东西，无法出图.
ganglia收集hbase的metrics
- - CSDN博客云计算推荐文章Ganglia 是 UC Berkeley 发起的一个开源监视项目，设计用于测量数以千计的节点. 每台计算机都运行一个收集和发送度量数据（如处理器速度、内存使用量等）的名为 gmond 的守护进程. 它将从操作系统和指定主机中收集. 接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中.
从Ganglia故障说起
- - 开源小站ganglia是现在市面上比较流行的一个集群健康状态监控系统. 它能够提供一整套的图形化报表用以完整的监控集群中各个节点的CPU/内存/网络以及其他需要监控的信息. 这次呢是我们搭建的一套环境，通过ganglia监控，但看似所有的配置都正确，可ganglia的前端主机（web-front）始终无法得到应有的数据.
Ganglia：分布式监控系统
- - CSDN博客移动开发推荐文章1 环境安装配置. 1.1 依赖软件下载. Ganglia是伯克利开发的一个集群监控软件. 可以监视和显示集群中的节点的各种状态信息，比如如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，同时可以将历史数据以曲线方式通过php页面呈现. 而ganglia又依赖于一个web服务器用来显示集群状态，用rrdtool来存储数据和生成曲线图，需要xml解析因此需要expat，配置文件解析需要libconfuse.
云计算平台管理的三大利器Nagios、Ganglia和Splunk
- - 技术改变世界 创新驱动中国 - 《程序员》官网综合利用Nagios、Ganglia和Splunk搭建起的云计算平台监控体系，具备错误报警、性能调优、问题追踪 和自动生成运维报表的功能. 有了这套系统，就可轻松管理Hadoop/HBase云计算平台. 云计算早已不是停留在概念阶段了，各大公司都购买了大量的机器，开始正式的部署和运营. 而动辄上百台的性能强劲的服务器，为运营管理带来了巨大的挑战.
开源监控软件ganglia安装手册
- - 研发管理 - ITeye博客Ganglia是一个监控服务器，集群的开源软件，能够用曲线图表现最近一个小时，最近一天，最近一周，最近一月，最近一年的服务器或者集群的cpu负载,内存,网络,硬盘等指标. Ganglia的强大在于：ganglia服务端能够通过一台客户端收集到同一个网段的所有客户端的数据，ganglia集群服务端能够通过一台服务端收集到它下属的所有客户端数据.
Hadoop Streaming 编程
- - 学着站在巨人的肩膀上Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：. 采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）. 本文安排如下，第二节介绍Hadoop Streaming的原理，第三节介绍Hadoop Streaming的使用方法，第四节介绍Hadoop Streaming的程序编写方法，在这一节中，用C++、C、shell脚本 和python实现了WordCount作业，第五节总结了常见的问题.
Hadoop使用（一）
- Pei - 博客园-首页原创精华区Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成. 其中NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上.
Hadoop MapReduce技巧
- - 简单文本我在使用Hadoop编写MapReduce程序时，遇到了一些问题，通过在Google上查询资料，并结合自己对Hadoop的理解，逐一解决了这些问题. Hadoop对MapReduce中Key与Value的类型是有要求的，简单说来，这些类型必须支持Hadoop的序列化. 为了提高序列化的性能，Hadoop还为Java中常见的基本类型提供了相应地支持序列化的类型，如IntWritable，LongWritable，并为String类型提供了Text类型.