在本人的上一篇博客文章:Netty构建分布式消息队列(AvatarMQ)设计指南之架构篇 中,重点向大家介绍了AvatarMQ主要构成模块以及目前存在的优缺点。最后以一个生产者、消费者传递消息的例子,具体演示了AvatarMQ所具备的基本消息路由功能。而本文的写作目的,是想从开发、设计的角度,简单的 ...
分类:
Web程序 时间:
2016-09-07 09:15:22
阅读次数:
323
以下是消息队列以下的大纲,本文主要介绍消息队列概述,消息队列应用场景和消息中间件示例(电商,日志系统)。 本次分享大纲 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。实现高性能,高可用,可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 ...
分类:
Web程序 时间:
2016-08-31 22:03:57
阅读次数:
177
目前业界流行的分布式消息队列系统(或者可以叫做消息中间件)种类繁多,比如,基于Erlang的RabbitMQ、基于Java的ActiveMQ/Apache Kafka、基于C/C++的ZeroMQ等等,都能进行大批量的消息路由转发。它们的共同特点是,都有一个消息中转路由节点,按照消息队列里面的专业术 ...
分类:
Web程序 时间:
2016-08-26 01:08:51
阅读次数:
574
在很多MYSQL环境中,对于MYSQL的分布式事物处理一直是个难题,在当前互联网环境中,大多数应用系统是基于SOA的很多复杂接口之间的调用,并且事物之间的处理优先级也是有先后的,所以对于实际入库的数据而言,不同的系统,对于当前入库的处理方式是不一样的,这样就衍生出了对于订阅MYSQL消息的需求。 在 ...
分类:
数据库 时间:
2016-08-19 06:19:11
阅读次数:
135
kafka是一个分布式消息队列,需要依赖ZooKeeper,请先安装好zk集群 kafka安装包解压 配置文件 规划有3个节点,broker的id应该不同node1为broker.id=0node2为broker.id=1node3为broker.id=2 node1上复制kafka目录到其他节点 ...
分类:
其他好文 时间:
2016-08-12 18:07:51
阅读次数:
171
支付宝系统架构概况大数据典型处理默认大数据资金处理平台大数据财务会计大数据支付清算大数据核算中心大数据交易大数据柔性事务支付宝的开源分布式消息中间件--Metamorphosis(MetaQ)Metamorphosis(MetaQ)是一个高性能、高可用、可扩展的分布式消息中间件,类似于LinkedIn的Kaf..
分类:
其他好文 时间:
2016-08-11 23:07:06
阅读次数:
225
当前各种 RPC 中间件技术已经广泛应用于各个领域。其中,服务器之间消息通讯这种功能广泛应用于这些中间件中,于是,将这种面向消息的中间件( Message Oriented Middleware , MOM )抽象出来,形成通用的消息中间件,成为业内主流。目前消息中间件的标准主要有: JMS 和 A ...
分类:
其他好文 时间:
2016-08-04 13:06:44
阅读次数:
120
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低 ...
分类:
其他好文 时间:
2016-08-03 10:20:28
阅读次数:
236
阿里巴巴阿里的开源项目很多,这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目,例如LVS、Tengine,或者很有实践价值的中间件,例如
MetaQ(分布式消息系统)、dubbo(RPC框架)、cobar(数据库中间件),或者是Java世界的工具,例如druid、fastjson。
都说国内Java公司的技..
分类:
其他好文 时间:
2016-07-19 02:31:09
阅读次数:
309
kafka是一个高吞吐量分布式消息系统,并且提供了持久化。其高性能的有两个重要特点:
利用了磁盘连续读写性能远远高于随机读写的特点;
并发,将一个topic拆分多个partition。
同一个ConsumerGroup内的Consumer和Partition在同一时间内必须保证是一对一的消费关系任意Partition在某一个时刻只能被一个Consumer Group内的一个Consumer消费(反过...
分类:
其他好文 时间:
2016-07-10 19:18:29
阅读次数:
1916