使用flume对日志进行集中管理

flume的强大之处在于,一个flume的source,可以来自于另外一个flume的sink.来达到日志统一管理的目的.flume就像它的名字的含义一样,可以一层一层的对接下去.

一般我们生产环境使用flume,都是会有一个或者多个flume来做集中式的日志管理.每一台要收集的日志的服务器上,都跑一个flume实例,这个实例把收集到的日志发送到一个flume集群中,在这个集群中我们可以写一些filter来对日志进行统一的过滤管理.最终再由这个集群把日志发送到需要日志的地方.比如放到hdfs当中,或者发给storm,spark等相关系统.

这次我们要完成的就是由一个agent把收集到的日志发送到另外一个flume中.然后这个flume再把日志写入到hdfs.大致结构如下图

flume-agent-to-flume-controller

 

 

 

 

 

 

 

 

 

foo的这台机器的flume agent配置文件如下

bar的机器的agent配置如下

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注