原文链接：记Flume-NG一些注意事项这里只考虑flume本身的一些东西，对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source：1、spool-source：适合静态文件，即文件本身不是动态变化的；2、avro source可以适当提高线程数量来提高此source性能；3、Th...
分类：
Web程序 时间：
2015-11-24 14:55:18
阅读次数：
214
官方文档参数解释：http://flume.apache.org/FlumeUserGuide.html#hdfs-sink需要注意：文件格式，fileType=DataStream 默认为SequenceFile，是hadoop的文件格式，改为DataStream就可直接读了（SqeuenceFi...
分类：
Web程序 时间：
2015-11-23 21:54:39
阅读次数：
225
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-22 23:35:25
阅读次数：
313
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:15:33
阅读次数：
167
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:14:39
阅读次数：
137
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。
分类：
Web程序 时间：
2015-11-21 07:13:05
阅读次数：
135
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。...
分类：
Web程序 时间：
2015-11-20 23:14:26
阅读次数：
351
原文链接：flume学习（三）：flume将log4j日志数据写入到hdfs在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下：[plain]view plaincopytier1.sources=source1tier1.channels=channel1tier...
分类：
Web程序 时间：
2015-11-19 11:21:03
阅读次数：
150
原文链接：Kafka实战－Flume到Kafka1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录：数据来源Flume到Kafka数据源加载预览 下面开始今天的分享内容。2.数据来源 Kafka生产的数据...
分类：
Web程序 时间：
2015-11-16 19:33:28
阅读次数：
195
1. Flume的安装配置2. flume和kafka整合（转）
分类：
Web程序 时间：
2015-11-16 15:40:26
阅读次数：
106
