月份:2016年2月

使用flume对日志进行集中管理

flume的强大之处在于,一个flume的source,可以来自于另外一个flume的sink.来达到日志统一管理的目的.flume就像它的名字的含义一样,可以一层一层的对接下去.

一般我们生产环境使用flume,都是会有一个或者多个flume来做集中式的日志管理.每一台要收集的日志的服务器上[……]

Read More…

Read more →

flume 1.5.0收集日志写入到hadoop中报java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType

我这边使用的是官方原版的flume,不是CDH.写前一篇文章的时候,挺顺利的,没出现这个问题

那是因为,前一篇文章,我flume和hadoop安装在同一台机器上了, 所以前面没有出现这个问题.其实启动的时候,我们就能看到相关信息

Read More…

Read more →

flume写入日志到hdfs

flume写入hdfs非常简单,因为flume本身就支持直接写入数据到hdfs. 只需要做一下简单的配置即可.

agent的配置文件

启动该agent

运[……]

Read More…

Read more →

CentOS 7 安装hadoop 2.5.2伪分布式(单机)

首先下载hadoop

修改环境变量

修改配置文件

格式化hdfs目录
[crayon-5[……]

Read More…

Read more →

Java项目使用log4j写入日志到flume

安装flume

首先安装flume,我这里是在CentOS 7上安装的flume 1.5.0. 因为flume依赖于JDK,所以要安装JDK先,JDK安装很简单,这里不再啰嗦

然后修改flume的配置文件
[crayon-5b[……]

Read More…

Read more →