一、概述 Spring Integration Kafka 是基于 Apache Kafka 和Spring Integration来集成Kafka，对开发配置提供了方便。 二、配置 1、spring-kafka-consumer.xml <?xml version="1.0" encoding=" ...
分类：
编程语言 时间：
2016-08-03 10:11:43
阅读次数：
362
一、下载 去apache 的官网（http://kafka.apache.org/downloads.html）下载最新的二进制版的压 缩包。目前的最新版本是kafka_2.11-0.8.2.1.tgz。二、解压 直接解压到D 盘根目录下。三、修改配置文件 注意版本不同，可能配置文件不同。请参照实际 ...
这里分析kafka 0.8.2的LogManager logmanager是kafka用来管理log文件的子系统.源代码文件在log目录下. 这里会逐步分析logmanager的源代码.首先看class 初始化部分. 上面这个函数就是kafkaserver里创建logmanager对象的入口.下面看 ...
分类：
其他好文 时间：
2016-08-02 18:57:21
阅读次数：
258
这里记录kafka源代码笔记.(代码版本是0.8.2.1) 这里不再从kafka启动顺序说起.网上已经一堆kafka启动顺序和框架上的文章了.这里不再罗嗦了,主要详细说一下代码细节部分.细节部分会一直读一直补充.如果想看看kafka 框架及启动顺序之类的文章推荐下面这个链接. http://www. ...
分类：
其他好文 时间：
2016-08-01 19:01:48
阅读次数：
202
我使用的kafka版本是：0.7.2 jdk版本是：1.6.0_20 http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整，以下代码是经过我补充的并且编译后能运行的。 分布式发布订阅消息系统 Kafka 架构设计 http://www.linu ...
分类：
其他好文 时间：
2016-08-01 15:43:58
阅读次数：
128
定义一个procucer 定义一个receiver 在需要consumer的程序中定义一个消费实现类,并注入到receiver中,这样spring容器启动时会自动创建一个receiver,进行对特定的topic消费 ...
分类：
其他好文 时间：
2016-08-01 15:15:42
阅读次数：
126
Kafka是一个开源的，分布式的，高吞吐量的消息系统。随着Kafka的版本迭代，日趋成熟。大家对它的使用也逐步从日志系统衍生到其他关键业务领域。特别是其超高吞吐量的特性，在互联网领域，使用越来越广泛，生态系统也越来的完善。同时，其设计思路也是其他消息中间件重要的设计参考。 Kafka原先的开发初衷是 ...
分类：
其他好文 时间：
2016-07-31 22:22:29
阅读次数：
112
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ 二、消息队列应用场景以下介绍消息队列在 ...
分类：
其他好文 时间：
2016-07-30 15:00:57
阅读次数：
156
kafka-console-consumer.sh --topic TOPIC_KEYWORD --from-beginning --zookeeper localhost报异常,Exception in thread "main" java.lang.NoSuchMethodError: kafk ...
分类：
其他好文 时间：
2016-07-30 09:12:01
阅读次数：
557
首先要特别感谢赵崇贺同学利用业余时间进行的压测，才能为本文提供专业的测试数据一、测试环境准备
Cpu
内存
硬盘 Intel(R) Xeon(R) CPU E5520 @ 2.27GHz
32G
6T
Kafka集群，服务器个数：3台
采用CMS垃圾回收
JVM运行参数
-Xmx1G -Xms1G -server -XX:+UseParNewGC -XX:+UseC...
分类：
其他好文 时间：
2016-07-29 15:39:26
阅读次数：
263
