Flume的安装和配置

By | 2018年11月27日
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u014039577/article/details/47721735

Flume的安装和配置

一、Flume的介绍

Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
1.Flume的几个核心概念:event、client、flow、agent、source、channel、sink;
2.Flume 运行的核心是 Agent。它是一个完整的数据收集工具,含有三个核心组件,分别是 source、channel、sink。通过这些组件,Event 可以从一个地方流向另一个地方,如图所示:
Flume的组件运作图
3.Flume具有高可靠性,当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),store on failure(当数据接收方崩掉时,将数据写到本地,待恢复后,继续发送),Best effort(数据发送到接收方后,不会进行确认)。

二、Flume的安装和配置

1.Flume的下载地址:http://flume.apache.org/download.html
下载apache-flume-1.6.0-bin.tar.gz和apache-flume-1.6.0-src.tar.gz
2.将下载的两个安装包放到linux上面(可以使用winscp直接复制上去),我的是放到/usr/local/目录下,然后解压:
tar zxvf apache-flume-1.6.0-bin.tar.gz,解压后得到apache-flume-1.6.0-bin
tar zxvf apache-flume-1.6.0-src.tar.gz,解压后得到apache-flume-1.6.0-src
解压后将src中的所有文件copy到apache-flume-1.6.0-bin/bin/目录下:cp -rf apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/bin/
3.配置Flume的环境变量配置,在/etc/profile

export FLUME_HOME=/usr/local/apache-flume-1.6.0-bin
export FLUME_CONF_DIR=$FLUME_HOME/conf
export PATH=.:$PATH::$FLUME_HOME/bin

4.验证安装是否成功:flume-ng version

[root@logsrv03 apache-flume-1.6.0-bin]# flume-ng version
错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f
[root@logsrv03 apache-flume-1.6.0-bin]# 

这里报了一个找不到或无法加载主类的错误,据说这个是flume-ng脚本有问题导致的,我尝试修改脚本和修改jdk的版本也没能解决问题,但是这个错误并不会影响使用。到此,flume安装完成。

发表评论