四, 通过Ganglia实现监控Flume数据流

• 一, 什么是Ganglia ?
• 二, Ganglia 的安装和部署
• 三, 借助Flume测试Ganglia

• Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。

0. 对分布式集群的安装前规划

1. 为所有的服务器都安装上epel-release( Extra Packages for Enterprise Linux - epel), 这个是提供版本较新的高质量软件包的下载源

在每台服务器中运行下列指令:

sudo yum -y install epel-release

注意: 此时可能会出现的错误和解决办法
(前提:python版本为2.7.* , 使用python -V 查看):

vi /usr/libexec/urlgrabber-ext-down, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7

vi /usr/bin/yum, 然后将文本中第一行的**#! /usr/bin/python**改为#! /usr/bin/python2.7

2. 在bigdata01上安装web, gmetad,gond

sudo yum -y install ganglia-web
sudo yum -y install ganglia-gmetad
sudo yum -y install ganglia-gmond

3. 在bigdata02和bigdata03上安装gmond

sudo yum -y install ganglia-gmond

注意: 在上面执行安装命令时可能会出现的问题:

解决办法:
跳转, cd /etc/yum.repos.d, 然后, vi epel.repo, 把metalink后的https改为http

4. 在bigdata01 上修改配置文件

• 修改/etc/httpd/conf.d/ganglia.conf, 设置ganglia监控信息的前端地址

vi /etc/httpd/conf.d/ganglia.conf

• 修改/etc/ganglia/gmetad.conf, 配置gmetad, 修改整合监控信息的主机名.

vi /etc/ganglia/gmetad.conf, 

• 在三台主机上, 修改/etc/ganglia/gmond.conf

vi  /etc/ganglia/gmond.conf

分发gmond.conf.

• 修改/etc/selinux/config, 关闭selinux

vi /etc/selinux/config

5. 启动ganglia,

• 在bigdata01上启动服务如下:

sudo service httpd start
sudo service gmetad start
sudo service gmond start

• 在bigdata02 和 bigdata03启动服务如下:

sudo service gmond start

• 完成以上步骤, 打开 192.168.182.100/ganglia

经常出现的问题及其解决办法:

# 赋予权限.
chmod -R 777 /var/lib/ganglia

• 正常启动, 结果如下:

1. 修改配置文件,

vi /opt/module/flume-1.7.0/conf/env.sh


# 加入以下内容

JAVA_OPTS="-Dflume.monitoring.type=ganglia
-Dflume.monitoring.hosts=192.168.9.102:8649
-Xms100m
-Xmx200m"

2. 运行学习flume最初的例子, flume-netcat-logger.conf, 即使用netcat向指定端口发送数据, flume收集数据, 并打印到控制台.

bin/flume-ng agent 
-n a1 
-c conf 
-f job/flume-netcat-logger.conf 
-Dflume.root.logger=INFO,console, 
-Dflume.monitoring.type=ganglia 
-Dflume.monitoring.hosts=192.168.182.100:8649

• 打开 192.168.182.100/ganglia 查看flume的各类信息.

• Ganglia监控图标关键字说明: