消息队列目前流行的有三种 1. RabbitMQ 2. ActiveMQ 3. Kafka 这三种都非常强大,RabbitMQ目前用的比较多,也比较流行,阿里也在用 ActiveMQ是阿帕奇出品,但是性能上和RMQ相比相对差一些 卡夫卡呢,使用场景不同,不多介绍,主要是用于日志收集方面,结合hado ...
分类:
其他好文 时间:
2016-05-22 15:06:12
阅读次数:
293
来自:http://grokbase.com/t/kafka/users/15bs2r0m83/kafka-0-8-2-1-how-to-read-from-consumer-offsets-topic ...
分类:
其他好文 时间:
2016-05-19 01:26:02
阅读次数:
363
最近想测试一下kafka的性能,折腾了大半天才把kafka安装到window上。下文提供安装的整个过程,绝对是可用的完整的,同时提供完整的kafka java客户端代码,用于与kafka沟通。在这里必须吐槽一下,网上大部分关于如何把kafka安装到window上的文章,要么不完整,要么kafka客户端代码是错误的或者不是基于0.8版本的。但是必须提醒一下,这篇文章只是介绍了其中的一种安装方法,可能...
分类:
其他好文 时间:
2016-05-18 18:07:00
阅读次数:
258
一、需求在本地上部署了两套环境,一套用于开发环境,另一套用于测试环境。在这里,我抽其测试这套环境,做了个总结,具体安装步聚,在这里不作详细解释,如果需要,我可以提供一份我总结文档作参考。环境上用到了11台机器,注意了,在这里用到全部是cdm5.5.0版本http://archiv..
分类:
其他好文 时间:
2016-05-17 19:46:54
阅读次数:
283
1、安装zookeeper 参考文档:http://www.cnblogs.com/hunttown/p/5452138.html 2、下载:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg ...
分类:
其他好文 时间:
2016-05-17 13:02:53
阅读次数:
182
最近在看消息队列框架 ,alibaba的RocketMQ单机支持1万以上的持久化队列,支持诸多特性, 目前RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog分发等场景 比kafka还是有过之无不及,其实kafka文档很丰富 但RocketMQ网上的 ...
分类:
其他好文 时间:
2016-05-15 19:33:45
阅读次数:
1784
Kafka基本原理 简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类 ...
分类:
其他好文 时间:
2016-05-15 00:22:15
阅读次数:
321
http://blog.163.com/sir_876/blog/static/11705223201332444647261/ 目前能用到的比较不错的消息队列组件 ,kafka,activeMq, ibm Mq,淘宝MetaQ 1,多系统之间消息通知,分布式事务,订单,抢单 2,数据库binlog ...
分类:
编程语言 时间:
2016-05-14 18:41:09
阅读次数:
223
简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。 Kafka架构 它的架构包括以下组件: 话题(Topic):是特定类型的消息流。消息是字 ...
分类:
其他好文 时间:
2016-05-14 16:53:55
阅读次数:
185
二、环境搭建Step 1: 下载Kafka点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9.2-0.8.1.1 复制代码 > tar -xzf kafka_2.9.2-0.8.1.1.tgz > cd kafka_2.9. ...
分类:
其他好文 时间:
2016-05-13 12:59:28
阅读次数:
201