一、MQ(Message Queue)即 消息队列,一般用于应用系统解耦、消息异步分发,能够提高系统吞吐量。MQ的产品有很多,有开源的,也有闭源,比如ZeroMQ、RabbitMQ、 ActiveMQ、Kafka/Jafka、Kestrel、Beanstalkd、HornetQ、Apache Qpi...
分类:
其他好文 时间:
2015-07-19 17:53:17
阅读次数:
197
Kafka[是linkedin(是一个公司)用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。当前很多的消息队列服务提供可靠交付保证,并默认是即时...
分类:
其他好文 时间:
2015-07-18 17:01:43
阅读次数:
176
【https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka】淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开...
分类:
其他好文 时间:
2015-07-17 15:34:48
阅读次数:
127
这是一篇学习笔记。
学习的材料来自于我读过的最好的一篇分布式技术文章,没有之一。...
分类:
其他好文 时间:
2015-07-16 14:09:58
阅读次数:
208
创建一个topic: [root@hdp1 bin]# ./kafka-topics.sh --create --zookeeper hdp1:2181 --replication-factor 1 --partitions 1 --topic justin Created topic "justi...
分类:
其他好文 时间:
2015-07-15 11:04:43
阅读次数:
292
支付宝系统架构概况典型处理默认资金处理平台财务会计支付清算核算中心交易柔性事务支付宝的开源分布式消息中间件–Metamorphosis(MetaQ)Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kafka,具有消息存储顺序写、吞吐...
分类:
其他好文 时间:
2015-07-14 22:14:18
阅读次数:
176
一、原理介绍本文内容参考:https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts(一)使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时,需要...
分类:
其他好文 时间:
2015-07-10 22:02:17
阅读次数:
184
一、理论介绍(一)相关资料1、官方资料,非常详细: http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版,基本一致,有些细节不同,建议入门时先读此文,再读官方文档。若自认英语很强,请忽视: http://www.linuxidc....
分类:
其他好文 时间:
2015-07-10 22:00:53
阅读次数:
298
一、原理介绍本文内容参考:https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts(一)使用storm-kafka的关键步骤1、创建ZkHosts当storm从kafka中读取某个topic的消息时,需要...
分类:
其他好文 时间:
2015-07-10 11:10:18
阅读次数:
2999
一、理论介绍(一)相关资料1、官方资料,非常详细: http://kafka.apache.org/documentation.html#quickstart2、有一篇翻译版,基本一致,有些细节不同,建议入门时先读此文,再读官方文档。若自认英语很强,请忽视: http://www.linuxidc....
分类:
其他好文 时间:
2015-07-10 10:47:31
阅读次数:
139