原文：https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example
为什么使用High Level Consumer
在某些应用场景，我们希望通过多线程读取消息，而我们并不关心从Kafka消费消息的顺序，我们仅仅关心数据能被消费就行。High Level 就是用于抽象这类消费动作的。
消息消费已C...
分类：
其他好文 时间：
2015-03-13 18:53:10
阅读次数：
141
Kafka相关的文章比较多，且比较杂乱，如果都看完可能需要比较多的时间，本文对相关的关键知识点做一个总结，便于查阅...
分类：
其他好文 时间：
2015-03-13 18:50:52
阅读次数：
169
不知道各位用过flume的读者对这两个概念是否熟悉了解
一开始本人的确有点迷惑，觉得这是不是重复了啊？
没感觉到transactionCapacity的作用啊？
batchSize又是干啥的啊？
……
……
带着这些问题，我们深入源码来看一下：
batchSize
batchSize这个概念首先它出现在哪里呢？
kafkaSink的process方法
HDFS Sink...
分类：
Web程序 时间：
2015-03-12 17:17:17
阅读次数：
11871
这里以按自定义头部的配置为例（根据某些业务不同写入不同的主目录）配置：source:interceptors=i1
interceptors.i1.type=regex_extractor
interceptors.i1.regex=/apps/logs/(.*?)/
interceptors.i1.serializers=s1
interceptors.i1.serializers.s1.name=logtypenamesink:hdfs..
分类：
其他好文 时间：
2015-03-12 08:34:37
阅读次数：
1480
在1.5.0的flume版本中开始提供这个功能，判断配置文件的更新时间戳来reload服务原理：1）在启动中使用EventBus.register注册Application对象，同时Application有一个Subscribe的方法handleConfigurationEvent（参数是MaterializedConfiguration对象）2）定义了一个计划任务线程..
分类：
Web程序 时间：
2015-03-12 01:06:34
阅读次数：
245
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配eventbody来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh
filename=$1..
分类：
其他好文 时间：
2015-03-12 01:04:37
阅读次数：
157
1.启动命令nohupbin/flume-ngagent-nagent-server-fagent-server1.conf&flume-ng是一个shell脚本：agentrunaFlumeagent--->org.apache.flume.node.Application类
avro-clientrunanavroFlumeclient--->org.apache.flume.client.avro.AvroCLIClient类run_flume(){#shel..
分类：
Web程序 时间：
2015-03-12 01:04:27
阅读次数：
322
flume可以监控并管理组件的运行状态，在组件关闭的时候可以自动拉起来，原理是通过启动一个计划任务线程池（monitorService，线程的最大数量为30），运行监控线程（MonitorRunnable线程），每隔3s判断组件(包括Channel，SinkRunner)的状态是否符合要求(可用的状态由两种START和..
分类：
Web程序 时间：
2015-03-12 01:04:09
阅读次数：
2319
kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。在这片博文中，作者简单提到了开发kafka而不选择已有MQ系统的原因。两个原因：性能和扩展性。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50
MB），每秒处理55万消息（110...
分类：
其他好文 时间：
2015-03-11 19:45:02
阅读次数：
299
RocketMQ与Kafka对比（18项差异）
2015-02-28王启军奔跑中的蜗牛
此文是rocketmq作者vintage.wang所写，对于每项对比，后面都增加了我的观点，有不对的地方，请各位指出。
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以...
分类：
其他好文 时间：
2015-03-10 19:23:56
阅读次数：
155
