RocketMQ是一款开源的消息中间件,采用Java实现,设计思想来自于Kafka(Scala实现),在具体设计时体现了自己的选择和需求,具体差别可以看RocketMQ与Kafka对比。接下来是自己阅读源码的一些探索。RocketMQ的整体架构如下,可以看到各个组件充当的角色,NameServer负责维护一些..
分类:
其他好文 时间:
2016-08-29 21:01:00
阅读次数:
321
RocketMQ是一款开源的消息中间件,采用Java实现,设计思想来自于Kafka(Scala实现),在具体设计时体现了自己的选择和需求,具体差别可以看RocketMQ与Kafka对比。接下来是自己阅读源码的一些探索。RocketMQ的整体架构如下,可以看到各个组件充当的角色,NameServer负责维护一些..
分类:
其他好文 时间:
2016-08-29 13:15:13
阅读次数:
111
文章来源:http://www.cnblogs.com/huxi2b/p/4583249.html 在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数? “ ...
分类:
编程语言 时间:
2016-08-26 13:49:27
阅读次数:
517
转载自:http://www.cnblogs.com/huxi2b/p/4583249.html 供参考 本文分析的Kafka代码为kafka-0.8.2.1。另外,由于Kafka目前提供了两套Producer代码,一套是Scala版的旧版本;一套是Java版的新版本。虽然Kafka社区极力推荐大家 ...
分类:
其他好文 时间:
2016-08-26 13:35:47
阅读次数:
464
目前业界流行的分布式消息队列系统(或者可以叫做消息中间件)种类繁多,比如,基于Erlang的RabbitMQ、基于Java的ActiveMQ/Apache Kafka、基于C/C++的ZeroMQ等等,都能进行大批量的消息路由转发。它们的共同特点是,都有一个消息中转路由节点,按照消息队列里面的专业术 ...
分类:
Web程序 时间:
2016-08-26 01:08:51
阅读次数:
574
生成kafka java客户端时,参考的资料!!!文章来源:http://blog.csdn.net/zhshulin/article/details/37921705 目前做的项目使用的是MAVEN来管理jar包,这也是我第一次接触maven,感觉非常好,再也不用一个一个去添加和下载jar包了,直 ...
分类:
Web程序 时间:
2016-08-24 19:05:46
阅读次数:
230
设计目标 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka Server间的消息分区,及分布式消费,同时保证每个Partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 Scale out:支持在线水平扩展 以时间复杂度为O(1)的方式 ...
分类:
其他好文 时间:
2016-08-24 12:53:46
阅读次数:
122
第一次使用java开发项目,涉及到的技术有 Dubbo+SpringMVC+Zookeeper+Kafka+MongoDb 。 第一个任务是设计一个商品日志的存储与查询的服务接口,逻辑实现用的是Dubbo+SpringMVC,数据保存在MongoDb中,Zookeeper作为服务中介。由于使用频率并 ...
分类:
编程语言 时间:
2016-08-24 11:04:24
阅读次数:
363
本文是大型网站架构系列:消息队列(二),主要分享JMS消息服务,常用消息中间件(Active MQ,Rabbit MQ,Zero MQ,Kafka)。 四、JMS消息服务 讲消息队列就不得不提JMS 。JMS(JAVA Message Service,java消息服务)API是一个消息服务的标准/规 ...
分类:
其他好文 时间:
2016-08-24 00:48:06
阅读次数:
277
今天看kafka,有一个参数选项中有: 'S' seq=strtoull(optarg,NULL,10); do_seq=1; 之后查找了下 strtoull 函数的功能,了解如下: from:http://zengwu3915.blog.163.com/blog/static/2783489720 ...
分类:
其他好文 时间:
2016-08-23 16:36:40
阅读次数:
135