概述 Apache的flume是一个分布式的，可靠的，和可用的系统。能有效地收集，汇总和移动大量的从许多不同的来源，一个集中式数据存储日志数据。Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的，flume可以用来大量事件（每一行数据被当做一个event）数据包括但不限于传输...
分类：
Web程序 时间：
2015-06-17 23:14:13
阅读次数：
377
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
分析
我们需要在RecyclerView内部维持一个数据集合的引用
需要实现Item的点击事件，包括短按和长按，并需要向外部提供设置监听器的方法
这个适配器必须通用，所以应该是泛型的，并且ViewHolder也是通用的，可以采用SparseArray维持View的所有集合
在RecyclerView内部需要实现数据的绑定（抽象方法，延迟到子类实现），监听器的绑定
编写监听器分为短按事件和长按事件
短...
分类：
其他好文 时间：
2015-06-13 11:25:32
阅读次数：
117
1. Flume：日志收集软件，里面的重要概念是agent，包括 source -> channel -> slink，sourc,slink 可以为hdfs,jdbc ... 一个简单的场景是用Flume监测一个文件夹fdir的数据变化，这时fdir就是source，并将变化传送到hdfs_pat...
分类：
其他好文 时间：
2015-06-10 15:27:14
阅读次数：
141
Component InterfaceType AliasImplementation Classorg.apache.flume.Channelmemoryorg.apache.flume.channel.MemoryChannelorg.apache.flume.Channeljdbcorg.a...
分类：
Web程序 时间：
2015-06-08 16:41:40
阅读次数：
243
项目中使用log4j打印的内容同时传输到flume1、flume端flume的agent配置内容如下：12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sources.s1.channels=c1a1.sinks.k1....
分类：
移动开发 时间：
2015-06-08 16:40:25
阅读次数：
214
