在上一篇，我们从使用方式和策略上，对消息队列做了一个宏观描述。从本篇开始，我们将深入到源码内部，仔细分析Kafka到底是如何实现一个分布式消息队列。我们的分析将从Producer端开始。从Kafka ...
分类：
Web程序 时间：
2016-09-25 09:35:54
阅读次数：
2103
在本人的上一篇博客文章：Netty构建分布式消息队列（AvatarMQ）设计指南之架构篇 中，重点向大家介绍了AvatarMQ主要构成模块以及目前存在的优缺点。最后以一个生产者、消费者传递消息的例子，具体演示了AvatarMQ所具备的基本消息路由功能。而本文的写作目的，是想从开发、设计的角度，简单的 ...
分类：
Web程序 时间：
2016-09-07 09:15:22
阅读次数：
323
以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 一、消息队列概述 消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 ...
分类：
Web程序 时间：
2016-08-31 22:03:57
阅读次数：
177
目前业界流行的分布式消息队列系统（或者可以叫做消息中间件）种类繁多，比如，基于Erlang的RabbitMQ、基于Java的ActiveMQ/Apache Kafka、基于C/C++的ZeroMQ等等，都能进行大批量的消息路由转发。它们的共同特点是，都有一个消息中转路由节点，按照消息队列里面的专业术 ...
分类：
Web程序 时间：
2016-08-26 01:08:51
阅读次数：
574
kafka是一个分布式消息队列，需要依赖ZooKeeper，请先安装好zk集群 kafka安装包解压 配置文件 规划有3个节点，broker的id应该不同node1为broker.id=0node2为broker.id=1node3为broker.id=2 node1上复制kafka目录到其他节点 ...
分类：
其他好文 时间：
2016-08-12 18:07:51
阅读次数：
171
引言 C10K problem提到一种zero-copy的技术，可以提高网络的吞吐量，分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。 什么是zero-copy zero-copy在概念上是值操 ...
分类：
其他好文 时间：
2016-07-03 01:45:15
阅读次数：
174
以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇：大型网站架构系列：分布式消息队列（二）） ...
分类：
Web程序 时间：
2016-06-16 20:02:37
阅读次数：
257
着系统的复杂性不断增加，我们所面对的分布式系统渐渐增加。分布式文件系统、分布式消息队列系统等等层出不穷，在一些行业特别是互联网行业应用广泛。分布式数据库也是目前使用比较常用的分布式系统之一。 简单来说，分布式数据库就是通过多个相互连接的数据库节点（注意不是Instance），来支持前端系统数据访问需 ...
分类：
数据库 时间：
2016-05-24 19:08:23
阅读次数：
203
1.构建可扩展的网站架构 网站可扩展架构的核心思想是模块化,并在此基础上,降低模块间的耦合性,提高模块的复用性. 2利用分布式消息队列降低系统耦合性 2.1事件驱动架构 事件驱动架构(Event Driven Architecture):通过在低耦合的模块之间传输事件消息,以保持,模块的松散耦合,并 ...
分类：
Web程序 时间：
2016-05-13 07:48:14
阅读次数：
215
最近一段时间，使用Kafka比较多。从初期的FE项目中单纯调研Kafka
Producer怎么使用到后面的在弦上项目使用Kafka
Consumer期间，对Kafka有了一个大致的了解。最近由于比较空闲，所以在寻找一些关于Kafka的资料来看。总的来说，Kafka就是一个新型的分布式消息队列开源工具，现成的PDF、书籍是比较少的，最好的资料还是Apache
上的Kafka，Apache Ka...
分类：
其他好文 时间：
2016-05-07 09:14:02
阅读次数：
223
