Flume监听文件夹中的文件变化_并把文件下沉到hdfs
- - 行业应用 - ITeye博客摘要： 1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file chann.
Flume监听文件夹中的文件变化_并把文件下沉到hdfs
标签：
flume
监听
文件夹
| 发表时间：2017-06-14 14:53 | 作者：jzy996492849
出处：http://www.iteye.com
摘要： 1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 根据需求，首先定义以下3大要素 采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file chann
1、采集目录到HDFS
采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
根据需求，首先定义以下3大要素
采集源，即source——监控文件目录 : spooldir
下沉目标，即sink——HDFS文件系统 : hdfs sink
source和sink之间的传递通道——channel，可用file channel 也可以用内存channel
配置文件spooldir-hdfs.conf编写：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
##注意：不能往监控目中重复丢同名文件
## 通过spooldir来监控文件内容的变化
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/tuzq/software/flumedata
a1.sources.r1.fileHeader = true
# Describe the sink
## 表示下沉到hdfs，下面配置的类型不同，type下面的参数就不同
a1.sinks.k1.type = hdfs
#sinks.k1只能连接一个channel，source可以配置多个
a1.sinks.k1.channel = c1
#下面的配置告诉用hdfs去写文件的时候写到什么位置，下面的表示不是写死的，而是动态变化的。表示输出的目录名称是可变的
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
#表示文件的前缀
a1.sinks.k1.hdfs.filePrefix = events-
#表示到了需要触发的时间时，是否要更新文件夹，true:表示要更新
a1.sinks.k1.hdfs.round = true
##表示每隔1分钟改变一下文件夹
a1.sinks.k1.hdfs.roundValue = 1
##切换文件的时候单位是分钟
a1.sinks.k1.hdfs.roundUnit = minute
##表示只要过了3秒钟，就切换生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 3
##如果记录的文件大于20字节时切换一次
a1.sinks.k1.hdfs.rollSize = 20
##当写了5个事件时触发
a1.sinks.k1.hdfs.rollCount = 5
##收到了多少条消息往hdfs中追加内容
a1.sinks.k1.hdfs.batchSize = 1
#使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream
# Use a channel which buffers events in memory
##使用内存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
Channel参数解释：
capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
keep-alive：event添加到通道中或者移出的允许时间
执行命令
[root@hadoop1 apache-flume-1.6.0-bin]#cd /home/tuzq/software/apache-flume-1.6.0-bin
[root@hadoop1 apache-flume-1.6.0-bin]#bin/flume-ng agent -c ./conf -f ./agentconf/spool-logger.conf -n a1 -Dflume.root.logger=INFO,console;
接着往/home/tuzq/software/flumedata文件夹中扔文件
[root@hadoop1 flumedata]# pwd
/home/tuzq/software/flumedata
[root@hadoop1 flumedata]# echo 111111111 >> 1.txt
[root@hadoop1 flumedata]# ls
1.txt.COMPLETED test.log.COMPLETED
[root@hadoop1 flumedata]# echo 22222222 >> 2.txt
[root@hadoop1 flumedata]# echo 33333333 >> 3.txt
[root@hadoop1 flumedata]# echo 44444444 >> 4.txt
[root@hadoop1 flumedata]# ls
1.txt.COMPLETED 2.txt.COMPLETED 3.txt.COMPLETED 4.txt.COMPLETED test.log.COMPLETED
[root@hadoop1 flumedata]#
扔了之后，现象是
1、/home/tuzq/software/flumedata文件文件夹下的文件倍加了一个一个后缀.COMPLETED,
2、在flume的监控位置，出现类似下图一样的文件：
3、到hdfs上查看文件：
[root@hadoop1 flumedata]# hdfs dfs -ls /
Found 5 items
drwxr-xr-x - root supergroup 0 2017-06-13 12:01 /40000
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume
-rw-r--r-- 3 root supergroup 3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx - root supergroup 0 2017-06-10 22:06 /tmp
drwxr-xr-x - root supergroup 0 2017-06-10 22:27 /user
[root@hadoop1 flumedata]# hdfs dfs -ls /flume
Found 2 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume/events
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout
[root@hadoop1 flumedata]# hdfs dfs -ls /flume/events
Found 1 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:47 /flume/events/17-06-13
[root@hadoop1 flumedata]# hdfs dfs -ls /flume/events/17-06-13
Found 3 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume/events/17-06-13/2343
drwxr-xr-x - root supergroup 0 2017-06-13 23:46 /flume/events/17-06-13/2346
drwxr-xr-x - root supergroup 0 2017-06-13 23:47 /flume/events/17-06-13/2347
[root@hadoop1 flumedata]#
综上所述：说明通过flume已经把新增的文件下沉到了hdfs中。
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
1、采集目录到HDFS
采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去
根据需求，首先定义以下3大要素
采集源，即source——监控文件目录 : spooldir
下沉目标，即sink——HDFS文件系统 : hdfs sink
source和sink之间的传递通道——channel，可用file channel 也可以用内存channel
配置文件spooldir-hdfs.conf编写：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
##注意：不能往监控目中重复丢同名文件
## 通过spooldir来监控文件内容的变化
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/tuzq/software/flumedata
a1.sources.r1.fileHeader = true
# Describe the sink
## 表示下沉到hdfs，下面配置的类型不同，type下面的参数就不同
a1.sinks.k1.type = hdfs
#sinks.k1只能连接一个channel，source可以配置多个
a1.sinks.k1.channel = c1
#下面的配置告诉用hdfs去写文件的时候写到什么位置，下面的表示不是写死的，而是动态变化的。表示输出的目录名称是可变的
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/
#表示文件的前缀
a1.sinks.k1.hdfs.filePrefix = events-
#表示到了需要触发的时间时，是否要更新文件夹，true:表示要更新
a1.sinks.k1.hdfs.round = true
##表示每隔1分钟改变一下文件夹
a1.sinks.k1.hdfs.roundValue = 1
##切换文件的时候单位是分钟
a1.sinks.k1.hdfs.roundUnit = minute
##表示只要过了3秒钟，就切换生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 3
##如果记录的文件大于20字节时切换一次
a1.sinks.k1.hdfs.rollSize = 20
##当写了5个事件时触发
a1.sinks.k1.hdfs.rollCount = 5
##收到了多少条消息往hdfs中追加内容
a1.sinks.k1.hdfs.batchSize = 1
#使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream
# Use a channel which buffers events in memory
##使用内存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
Channel参数解释：
capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
keep-alive：event添加到通道中或者移出的允许时间
执行命令
[root@hadoop1 apache-flume-1.6.0-bin]#cd /home/tuzq/software/apache-flume-1.6.0-bin
[root@hadoop1 apache-flume-1.6.0-bin]#bin/flume-ng agent -c ./conf -f ./agentconf/spool-logger.conf -n a1 -Dflume.root.logger=INFO,console;
接着往/home/tuzq/software/flumedata文件夹中扔文件
[root@hadoop1 flumedata]# pwd
/home/tuzq/software/flumedata
[root@hadoop1 flumedata]# echo 111111111 >> 1.txt
[root@hadoop1 flumedata]# ls
1.txt.COMPLETED test.log.COMPLETED
[root@hadoop1 flumedata]# echo 22222222 >> 2.txt
[root@hadoop1 flumedata]# echo 33333333 >> 3.txt
[root@hadoop1 flumedata]# echo 44444444 >> 4.txt
[root@hadoop1 flumedata]# ls
1.txt.COMPLETED 2.txt.COMPLETED 3.txt.COMPLETED 4.txt.COMPLETED test.log.COMPLETED
[root@hadoop1 flumedata]#
扔了之后，现象是
1、/home/tuzq/software/flumedata文件文件夹下的文件倍加了一个一个后缀.COMPLETED,
2、在flume的监控位置，出现类似下图一样的文件：
3、到hdfs上查看文件：
[root@hadoop1 flumedata]# hdfs dfs -ls /
Found 5 items
drwxr-xr-x - root supergroup 0 2017-06-13 12:01 /40000
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume
-rw-r--r-- 3 root supergroup 3719 2017-06-10 12:11 /kms.sh
drwxrwxrwx - root supergroup 0 2017-06-10 22:06 /tmp
drwxr-xr-x - root supergroup 0 2017-06-10 22:27 /user
[root@hadoop1 flumedata]# hdfs dfs -ls /flume
Found 2 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume/events
drwxr-xr-x - root supergroup 0 2017-06-13 22:01 /flume/tailout
[root@hadoop1 flumedata]# hdfs dfs -ls /flume/events
Found 1 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:47 /flume/events/17-06-13
[root@hadoop1 flumedata]# hdfs dfs -ls /flume/events/17-06-13
Found 3 items
drwxr-xr-x - root supergroup 0 2017-06-13 23:43 /flume/events/17-06-13/2343
drwxr-xr-x - root supergroup 0 2017-06-13 23:46 /flume/events/17-06-13/2346
drwxr-xr-x - root supergroup 0 2017-06-13 23:47 /flume/events/17-06-13/2347
[root@hadoop1 flumedata]#
综上所述：说明通过flume已经把新增的文件下沉到了hdfs中。
已有 0 人发表留言，猛击->> 这里<<-参与讨论
ITeye推荐
相关 [flume 监听 文件夹] 推荐：
Flume OG 与 Flume NG 的对比
- - 开源软件 - ITeye博客很久没接触flume了，刚掀开官网一看，发现flume已然不是以前的那个flume了，其实早在flume技术群就听到NG这个字眼，以前没特注意，今天做了些对比，发现flume确实有了投胎换骨般的改变. 首先介绍下Flume OG & Flume NG这两个概念. Flume OG:Flume original generation 即Flume 0.9.x版本.
flume日志采集
- - CSDN博客推荐文章1.1.2. Client端Log4j配置文件. （黄色文字为需要配置的内容）. //日志Appender修改为flume提供的Log4jAppender. //日志需要发送到的端口号，该端口要有ARVO类型的source在监听. //日志需要发送到的主机ip，该主机运行着ARVO类型的source.
Flume日志收集
- - 企业架构 - ITeye博客转： http://www.cnblogs.com/oubo/archive/2012/05/25/2517751.html. Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力.
flume写入hadoop hdfs报错 Too many open files
- - CSDN博客云计算推荐文章网络搜索，怀疑linux nofile超过最大限制，当前设置大小1024，默认值. 而查看flume进程打开的文件数量为2932（这个比较奇怪，怎么超过1024了呢. 1.修改nfile配置文件，手工增加nofile的大小. 2.重启flume进程，也就是进程29828，问题解决. 作者：hijk139 发表于2013-2-17 16:37:34 原文链接.
分布式日志收集收集系统：Flume
- - 标点符Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统. 支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力. Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera.
分布式日志收集系统Apache Flume的设计介绍
- - CSDN博客架构设计推荐文章Flume是Cloudera公司的一款高性能、高可能的分布式日志收集系统. 现在已经是Apache Top项目. 同Flume相似的日志收集系统还有 Facebook Scribe， Apache
Chuwka， Apache Kafka(也是LinkedIn的). Flume是后起之秀，本文尝试简要分析Flume数据流通过程中提供的组件、可靠性保证来介绍Flume的主要设计，不涉及Flume具体的安装使用，也不涉及代码层面的剖析.
详细图解 Flume介绍、安装配置
- - CSDN博客云计算推荐文章本文总结“Hadoop生态系统”中的其中一员——Apache Flume. 一、什么是Apache Flume. 官网：Flume is a distributed, reliable, and availableservicefor efficientlycollecting, aggregating, and moving large amounts of log data.
使用Flume进行数据的实时收集处理
- - CSDN博客推荐文章在已经成功安装Flume的基础上，本文将总结使用Flume进行数据的实时收集处理，具体步骤如下：. 第一步，在$FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，具体内容如下：. #agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1
#Spooling Directory是监控指定文件夹中新文件的变化，一旦新文件出现，就解析该文件内容，然后写入到channle.
开源日志系统简介——Scribe，flume，kafka，Chukwa
- - 互联网 - ITeye博客许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：. （1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；. （2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；. 即：当数据量增加时，可以通过增加节点进行水平扩展.