HDFSEventSink用于把数据从channel中拿出来(主动pull的形式)然后放到hdfs中,HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool,callTimeoutPool用于运行append/flush等操作hdfs的task(通过callWithTimeout方法调用,并实现timeout功能),用于运行..
分类:
Web程序 时间:
2015-03-06 06:24:34
阅读次数:
254
flume的主要组件包括:Source,SourceRunner,Interceptor,Channel,ChannelSelector,ChannelProcessor,Sink,SinkRunner,SinkProcessor,SinkSelector等工作流程包含两个部分:source->channel,数据由source写入channel,主动模式,主要步骤如下:一个SourceRunner包含一个So..
分类:
Web程序 时间:
2015-03-06 06:24:30
阅读次数:
217
以上是该命令的选项
[root@com22 bin]# sh hdfs fsck /flume/events/2015/03/02/13 -racks
Connecting to namenode via http://com22.authentication:50070
FSCK started by root (auth:SIMPLE) from /192.168.11.177 fo...
分类:
其他好文 时间:
2015-03-05 17:10:00
阅读次数:
120
来自:http://doc.okbase.net/QING____/archive/19447.html也可参考:http://blog.csdn.net/21aspnet/article/details/19325373http://blog.csdn.net/unix21/article/det...
分类:
编程语言 时间:
2015-03-05 09:13:29
阅读次数:
286
新blog地址:http://hengyunabc.github.io/about-metrics/想要实现的功能
应用可以用少量的代码,实现统计某类数据的功能
统计的数据可以很方便地展示
metricsmetrics,按字面意思是度量,指标。举具体的例子来说,一个web服务器:
- 一分钟内请求多少次?
- 平均请求耗时多长?
- 最长请求时间?
- 某个方法的被调用次数,时长?以缓存为例...
分类:
其他好文 时间:
2015-03-05 01:45:50
阅读次数:
1338
原文:http://blog.csdn.net/changong28/article/details/39325079使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时候可以指定分区数和副本数等信息,如果将这些属性配置到server.properties文件中,以后调用Java...
分类:
编程语言 时间:
2015-03-04 18:23:28
阅读次数:
274
flume 1.5.2
hbase 0.98.9
hadoop 2.6
zk 3.4.6
以上是基础的软件及对应版本,请先确认以上软件安装成功!
1、添加jar包支持
将hbase的lib下的这些jar包拷贝到flume的lib下
2、配置flume
注意看以上的serializer配置,采用的是官方的RegexHbaseEventSerializer,
...
分类:
Web程序 时间:
2015-03-04 11:05:56
阅读次数:
258
flume作为日志收集端,其本质上也是一个生产者消费者结构,source作为消息的producer,sink作为消息的consumer,中间的channel作消息的存储为了保证消息消费的正确性,flume使用了事务的机制,主要涉及的类:1)org.apache.flume.Transaction接口类,为访问channel提供事务的功..
分类:
Web程序 时间:
2015-03-04 06:22:18
阅读次数:
282
对于flume的监控,只需要监控channel的性能数据即可,source和sink的性能一部分可以从channel中表现出来。以MemoryChannel为例,在MemoryTransaction的构造函数中会实例化一个org.apache.flume.instrumentation.ChannelCounter对象publicMemoryTransaction(inttransCapacity,Ch..
分类:
Web程序 时间:
2015-03-04 06:22:07
阅读次数:
250
org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类,操作多个sink的抽象层(类似于proxy),用来分配给SinkRunner对象抽象方法:process和Sink的process方法类似(内部实现增加了选择Sink的功能)setSinks设置sinks具体实现类:org.apache.flume.s..
分类:
Web程序 时间:
2015-03-04 06:18:28
阅读次数:
206