1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示：数据消费Storm计算预览截图 接下来，我们开始分享今天的内容。2.数据消费 .....
分类：
其他好文 时间：
2015-07-09 12:59:06
阅读次数：
172
1、源码下载：我用的是1.6版，因为加了kafka-sink，下载地址http://www.apache.org/dyn/closer.cgi/flume/1.6.0/apache-flume-1.6.0-src.tar.gz2、解压缩至C盘根目录下建议放到这个目录下，其他目录并不能保证通过。3、运...
分类：
Web程序 时间：
2015-07-09 00:29:49
阅读次数：
192
http://www.aboutyun.com/thread-8917-1-1.html
分类：
Web程序 时间：
2015-07-08 22:56:06
阅读次数：
170
log4j直接输出日志到flume ????????此jar是由Cloudera的CDH发行版提供的一个工具类，通过配置，可以将log4j的日志直接输出到flume，方便日志的采集。 ????????在CDH5.3.0版本中是：flume-ng-log4...
分类：
Web程序 时间：
2015-07-06 16:17:06
阅读次数：
609
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-07-02 06:30:00
阅读次数：
887
本文简单介绍了Flume agent的LineDeserializer的机制以及它在收集多行形式的日志上的缺陷，并对其进行了扩展。...
分类：
Web程序 时间：
2015-06-22 22:23:56
阅读次数：
281
概述 Apache的flume是一个分布式的，可靠的，和可用的系统。能有效地收集，汇总和移动大量的从许多不同的来源，一个集中式数据存储日志数据。Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的，flume可以用来大量事件（每一行数据被当做一个event）数据包括但不限于传输...
分类：
Web程序 时间：
2015-06-17 23:14:13
阅读次数：
377
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
