背景介绍
Kafka简介
Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：
以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输同时支持离线数据...
分类：
其他好文 时间：
2015-03-10 17:19:03
阅读次数：
197
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输
该场景主要用于分布式Flume之间的数据传输，从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的？Avro Sink SSL在这个传输过程中，sink其实就相当于socket的client端了
flume源码中有个类NettyAvroRpcCli...
分类：
Web程序 时间：
2015-03-10 12:09:08
阅读次数：
533
第一版：logstash + es第二版：kafka 替换 logstash的方案
分类：
其他好文 时间：
2015-03-09 22:23:07
阅读次数：
221
项目信息https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些，显示的信息更加丰富，kafka-manager本身可以是一个集群。不过kafka-manager也没有权限管理功能。Kafka web console的安装可以参考之前的blog：http://b...
分类：
其他好文 时间：
2015-03-09 20:59:27
阅读次数：
164
从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类：
Web程序 时间：
2015-03-09 16:16:56
阅读次数：
5816
org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作（在Source中用到），可以把它想象成channel的proxy，用于控制把Eventput到哪些Channel中，以及怎么put(bacth或者单个)，同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中..
分类：
其他好文 时间：
2015-03-09 01:48:39
阅读次数：
176
在agent启动时，会启动Channel,SourceRunner,SinkRunner，比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中：privatevoiddoStart(){
booleanerror=true;
try{
channel.start();//调用Channel.start启动Channel
sinkRunner.start();//调用SinkRunner.star..
分类：
其他好文 时间：
2015-03-08 17:24:39
阅读次数：
521
上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
Franz Kafka， 现代主义文学大师，出生在布拉格（捷克）的奥匈帝国作家，母语是德语的犹太人。卡夫卡的影响了许多作家，比如马尔克斯，读＜百年孤独＞总觉得有＜变形记＞的感觉，而陈忠实的＜白鹿原＞，余华的＜活着＞，还有莫言的＜红高粱＞，都和＜百年孤独＞似曾相似，也算是间接影响吧。看看卡夫卡的代表作...
分类：
其他好文 时间：
2015-03-06 15:43:15
阅读次数：
116
