Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心...
分类：
Web程序 时间：
2015-11-27 16:46:38
阅读次数：
123
前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。 这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql （项目是maven项目，需要改动mysql配置，提供两种topology：读取本地文件（用来本地测试）；读取服务器...
分类：
数据库 时间：
2015-11-26 21:12:39
阅读次数：
665
原文链接：记Flume-NG一些注意事项这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avro source可以适当提高线程数量来提高此source性能；3、Th...
分类：
Web程序 时间：
2015-11-24 14:55:18
阅读次数：
214
官方文档参数解释：http://flume.apache.org/FlumeUserGuide.html#hdfs-sink需要注意：文件格式，fileType=DataStream 默认为SequenceFile，是hadoop的文件格式，改为DataStream就可直接读了（SqeuenceFi...
分类：
Web程序 时间：
2015-11-23 21:54:39
阅读次数：
225
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-22 23:35:25
阅读次数：
313
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:15:33
阅读次数：
167
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:14:39
阅读次数：
137
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:13:05
阅读次数：
135
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。...
分类：
Web程序 时间：
2015-11-20 23:14:26
阅读次数：
351
原文链接：flume学习（三）：flume将log4j日志数据写入到hdfs在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下：[plain]view plaincopytier1.sources=source1tier1.channels=channel1tier...
分类：
Web程序 时间：
2015-11-19 11:21:03
阅读次数：
150
