上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
Franz Kafka， 现代主义文学大师，出生在布拉格（捷克）的奥匈帝国作家，母语是德语的犹太人。卡夫卡的影响了许多作家，比如马尔克斯，读＜百年孤独＞总觉得有＜变形记＞的感觉，而陈忠实的＜白鹿原＞，余华的＜活着＞，还有莫言的＜红高粱＞，都和＜百年孤独＞似曾相似，也算是间接影响吧。看看卡夫卡的代表作...
分类：
其他好文 时间：
2015-03-06 15:43:15
阅读次数：
116
HDFSEventSink用于把数据从channel中拿出来（主动pull的形式）然后放到hdfs中，HDFSEventSink在启动时会启动两个线程池callTimeoutPool和timedRollerPool，callTimeoutPool用于运行append/flush等操作hdfs的task（通过callWithTimeout方法调用，并实现timeout功能），用于运行..
分类：
Web程序 时间：
2015-03-06 06:24:34
阅读次数：
254
flume的主要组件包括：Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等工作流程包含两个部分：source->channel，数据由source写入channel，主动模式，主要步骤如下：一个SourceRunner包含一个So..
分类：
Web程序 时间：
2015-03-06 06:24:30
阅读次数：
217
以上是该命令的选项
[root@com22 bin]# sh hdfs fsck /flume/events/2015/03/02/13 -racks
Connecting to namenode via http://com22.authentication:50070
FSCK started by root (auth:SIMPLE) from /192.168.11.177 fo...
分类：
其他好文 时间：
2015-03-05 17:10:00
阅读次数：
120
来自：http://doc.okbase.net/QING____/archive/19447.html也可参考:http://blog.csdn.net/21aspnet/article/details/19325373http://blog.csdn.net/unix21/article/det...
分类：
编程语言 时间：
2015-03-05 09:13:29
阅读次数：
286
新blog地址：http://hengyunabc.github.io/about-metrics/想要实现的功能
应用可以用少量的代码，实现统计某类数据的功能
统计的数据可以很方便地展示
metricsmetrics，按字面意思是度量，指标。举具体的例子来说，一个web服务器：
- 一分钟内请求多少次？
- 平均请求耗时多长？
- 最长请求时间？
- 某个方法的被调用次数，时长？以缓存为例...
分类：
其他好文 时间：
2015-03-05 01:45:50
阅读次数：
1338
原文：http://blog.csdn.net/changong28/article/details/39325079使用Kafka的同学都知道，我们每次创建Kafka主题（Topic）的时候可以指定分区数和副本数等信息，如果将这些属性配置到server.properties文件中，以后调用Java...
分类：
编程语言 时间：
2015-03-04 18:23:28
阅读次数：
274
flume 1.5.2
hbase 0.98.9
hadoop 2.6
zk 3.4.6
以上是基础的软件及对应版本，请先确认以上软件安装成功！
1、添加jar包支持
将hbase的lib下的这些jar包拷贝到flume的lib下
2、配置flume
注意看以上的serializer配置，采用的是官方的RegexHbaseEventSerializer，
...
分类：
Web程序 时间：
2015-03-04 11:05:56
阅读次数：
258
