Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数...
分类：
Web程序 时间：
2015-06-08 16:37:39
阅读次数：
270
Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sourc...
分类：
Web程序 时间：
2015-06-08 16:29:30
阅读次数：
161
Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的，如下图。 在source上可以定义channel selector：123456789a1.sources=r1...a1.channels=c1 c2...a1.sources.r1.selector...
分类：
Web程序 时间：
2015-06-08 16:28:59
阅读次数：
123
Is Flume a good fit for your problem?If you need to ingest textual log data into Hadoop/HDFS then Flume is the right fit for your problem, full stop. ...
分类：
Web程序 时间：
2015-06-08 16:27:09
阅读次数：
194
Flume的一些组件（如Spooling Directory Source、File Channel）能够保证agent挂掉后不丢失数据。1、负载均衡1）LoadbalancingSinkProcessorsource里的event流经channel，进入sink组，在sink组内部根据负载算法（r...
分类：
Web程序 时间：
2015-06-07 18:52:57
阅读次数：
348
本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。...
分类：
Web程序 时间：
2015-06-06 22:09:12
阅读次数：
547
#receive the fileflume-ng agent --conf conf --conf-file conf1.conf --name a1flume-ng agent --conf conf --conf-file conf2.conf --name hdfs-agentflume-n...
分类：
数据库 时间：
2015-06-03 21:19:46
阅读次数：
288
转自：http://www.kongqingquan.com/archives/208#more-208Erlang中的atom由通用hash表实现，虚拟机中atom最终的用数值表示，对应表中的下标值。本文通过list_to_atom函数的实现，分析atom在虚拟机中的内部实现。先看atom的数据结...
分类：
其他好文 时间：
2015-06-02 17:04:25
阅读次数：
140
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-06-02 16:59:17
阅读次数：
104
Flume知识点：Event 是一行一行的数据
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro...
分类：
Web程序 时间：
2015-05-30 19:55:17
阅读次数：
155
