分布式系统实践 1. OceanBase 1.0 分布式技术架构 http://dwz.cn/5eCSvJ 摘要: 这是OceanBase 1.0首次公开的技术文章, 内容不过多评价了, 感兴趣的同学自己阅读吧. 2. 万亿级数据洪峰下的分布式消息引擎 http://jm.taobao.org/20 ...
分类：
其他好文 时间：
2017-02-11 11:24:09
阅读次数：
197
分布式服务：Dubbo+Zookeeper+Proxy+Restful 分布式消息中间件：KafKa+Flume+Zookeeper 分布式缓存：Redis 分布式文件：FastDFS 负载均衡：Keepalived+Nginx+Proxy(三重负载) ...
分类：
编程语言 时间：
2017-02-07 19:07:12
阅读次数：
441
一年前，当我第一次开发完EQueue后，写过一篇文章介绍了其整体架构，做这个框架的背景，以及架构中的所有基本概念。通过那篇文章，大家可以对EQueue有一个基本的了解。经过了1年多的完善，EQueue无论是功能上还是成熟性上都完善了不少。所以，希望再写一篇文章，介绍一下EQueue的整体架构和关键特 ...
前言 最近花了我几个月的业余时间，对EQueue做了一个重大的改造，消息持久化采用本地写文件的方式。到现在为止，总算完成了，所以第一时间写文章分享给大家这段时间我所积累的一些成果。 EQueue开源地址：https://github.com/tangxuehua/equeue EQueue相关文档： ...
Netty初步 为什么选择Netty？ 和NIO比较，要实现一个通信要简单得很多，性能很好。分布式消息中间件、storm、Dubble都是使用Netty作为底层通信。 Netty5.0要求jdk1.6以上。 http://netty.io 创建两个Nio线程组，一个事件处理，一个网络读写通信 创建一 ...
分类：
Web程序 时间：
2017-01-20 14:40:13
阅读次数：
233
转自：http://www.infoq.com/cn/news/2015/02/apache-samza-top-project Apache Samza是一个开源、分布式的流处理框架，它使用开源分布式消息处理系统Apache Kafka来实现消息服务，并使用资源管理器Apache Hadoop Y ...
分类：
数据库 时间：
2017-01-18 10:50:54
阅读次数：
298
kafka是linkedin用于日志处理的分布式消息队列， 同时支持离线和在线日志处理。 kafka对消息保存时根据Topic进行归类， 发送消息者成为 Producer,消息接受者成为 Consumer,此外 kafka 集群有多个kafka实例组成， 每个实例(server)称为broker。 ...
分类：
其他好文 时间：
2017-01-14 21:01:10
阅读次数：
237
Kafka是如何实现高吞吐率的 原创 2016-02-27 杜亦舒 性能与架构 Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失kafka主要使用了以下几个方式实现了超高的吞吐 ...
分类：
其他好文 时间：
2017-01-08 03:36:39
阅读次数：
175
简单介绍:说明:此模块是一个专注于分布式消息传递的异步任务队列,所谓任务就是消息,消息中的有效载荷中包含要执行的任务需要的全部数据几大特性:1.Celery易于使用和维护,且不需要配置文件,默认配置启动时自动写入消息代理.2.Celery高可用,连接丢失或失败时客户端或消费者会自动..
分类：
编程语言 时间：
2016-12-25 02:19:34
阅读次数：
331
消息中间件MessageQuene 解耦且可扩展：业务复杂度的提升带来的也是耦合度的提高，消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 冗余：有些业务在处理过程中如果失败了，数据在未 ...
分类：
其他好文 时间：
2016-12-15 14:19:32
阅读次数：
203
