flume作为日志收集端，其本质上也是一个生产者消费者结构，source作为消息的producer，sink作为消息的consumer，中间的channel作消息的存储为了保证消息消费的正确性，flume使用了事务的机制，主要涉及的类：1）org.apache.flume.Transaction接口类，为访问channel提供事务的功..
分类：
Web程序 时间：
2015-03-04 06:22:18
阅读次数：
282
对于flume的监控，只需要监控channel的性能数据即可，source和sink的性能一部分可以从channel中表现出来。以MemoryChannel为例，在MemoryTransaction的构造函数中会实例化一个org.apache.flume.instrumentation.ChannelCounter对象publicMemoryTransaction(inttransCapacity,Ch..
分类：
Web程序 时间：
2015-03-04 06:22:07
阅读次数：
250
org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner对象抽象方法：process和Sink的process方法类似（内部实现增加了选择Sink的功能）setSinks设置sinks具体实现类：org.apache.flume.s..
分类：
Web程序 时间：
2015-03-04 06:18:28
阅读次数：
206
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间，...
分类：
其他好文 时间：
2015-03-03 16:51:30
阅读次数：
209
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版...
分类：
其他好文 时间：
2015-03-03 15:11:59
阅读次数：
269
最后提及两个agent。首先第一个是使用一个avro souce和一个avro sink向另一个agent传递event，然后再写入特定目录。 先看看配置代码。 agent6.sources = avrosource //定义avrosource，可以使用avro client在网络上向其传...
分类：
Web程序 时间：
2015-03-02 12:33:12
阅读次数：
191
apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。 大伙知道，常用的channel主要有三个： 1、memory channel：用内存做channel，优点是速度最快，...
分类：
Web程序 时间：
2015-03-01 19:38:20
阅读次数：
238
今天继续讨论几个agent的配置。 第一个agent是从终端捕获特定命令执行的输出结果，并将文件输出到特定目录。先看一下配置的代码： agent2.sources = execsource //指定为从命令获取输出的sourceagent2.sinks = filesink ...
分类：
Web程序 时间：
2015-03-01 13:07:42
阅读次数：
148
首先介绍一下Flume是个神马东东。Flume可以实现从多种数据源获取数据，然后传递到不同的目标路径。通常是利用Flume传送logs到不同的地方，例如从web server收集logs文件然后传送到hadoop cluster进行分析之类的。Flume配置灵活简单，可以实现不同情况的日志传送...
分类：
Web程序 时间：
2015-02-28 13:01:20
阅读次数：
165
#!/usr/local/bin/ruby?-w
#
#
#
def?call_each
???animals?=?%w{ant?bee?cat?dog?elk}
???for?animal?in?animals
?????yield?animal
???end
end
call_each?{|animal_block|?puts?...
分类：
其他好文 时间：
2015-02-27 15:21:36
阅读次数：
162
