前言话说EventBroker这玩意已经不是什么新鲜货了,记得第一次接触这玩意是在进第二家公司的时候,公司产品基础架构层中集成了分布式消息中间件,在.net基础服务层中使用EventBroker的模式将消息组装成事件,支持同域、跨域和跨机器进行事件的发布和订阅,后来才知道这玩意叫做EventBrok...
Kafka 分布式消息队列 类似产品有JBoss、MQ一、由Linkedln 开源,使用scala开发,有如下几个特点:(1)高吞吐(2)分布式(3)支持多语言客户端 (C++、Java)二、组成: 客户端是 producer 和 consumer,提供一些API,服务器端是Broker,客户端提供...
分类:
其他好文 时间:
2014-10-23 16:13:44
阅读次数:
199
总体结构: 内部结构: 主要特点: ? 生产者、服务器和消费者都可分布 消息存储顺序写 性能极高,吞吐量大 支持消息顺序 支持本地和XA事务 客户端pull,随机读,利用sendfile系统调用,zero-copy ,批量拉数据 支持...
分类:
编程语言 时间:
2014-10-07 23:15:34
阅读次数:
378
异步计算分布式消息队列先进先出机制的队列,监听在服务器某个端口上的服务,它可以维护并管理很多消息队列,应用程序可以通过网络快速访问它,为某个队列追加消息或者从某个队列领取消息。并行计算Map/Reduce是一种分布式并行计算的开发框架,任何计算任务都可以经历从拆分到..
分类:
其他好文 时间:
2014-10-01 01:29:30
阅读次数:
221
kafka概念:
kafka是一个高吞吐量的流式分布式消息系统,用来处理活动流数据,比如网页的访问量pm,日志等,既能够实时处理大数据信息
也能离线处理。
特点:
1.高吞吐量
2.是一种显式的分布式系统,它假设,数据生产者(producer),代理(brokers)和数据使用者(consum...
分类:
其他好文 时间:
2014-09-29 20:09:12
阅读次数:
196
一、分布式消息总线以及基于Socket的实现 在前面的分享一个分布式消息总线,基于.NET Socket Tcp的发布-订阅框架,附代码下载一文之中给大家分享和介绍了一个极其简单也非常容易上的基于.NET Socket Tcp 技术实现的分布消息总线,也是一个简单的发布订阅框架: 并且以案例的形式为...
分类:
Web程序 时间:
2014-08-21 11:24:44
阅读次数:
364
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会...
分类:
其他好文 时间:
2014-08-19 13:03:24
阅读次数:
475
==========================================================================================一、RocketMQ简介==========================================================================================RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点:1、..
分类:
其他好文 时间:
2014-08-16 09:50:01
阅读次数:
292
一、分布式消息总线在很多MIS项目之中都有这样的需求,需要一个及时、高效的的通知机制,即比如当使用者A完成了任务X,就需要立即告知使用者B任务X已经完成,在通常的情况下,开发人中都是在使用者B所使用的程序之中写数据库轮循代码,这样就会产品一个很严重的两个问题,第一..
分类:
Web程序 时间:
2014-08-14 17:12:09
阅读次数:
314
一、分布式消息总线 在很多MIS项目之中都有这样的需求,需要一个及时、高效的的通知机制,即比如当使用者A完成了任务X,就需要立即告知使用者B任务X已经完成,在通常的情况下,开发人中都是在使用者B所使用的程序之中写数据库轮循代码,这样就会产品一个很严重的两个问题,第一个问题是延迟,轮循机制要定时执行,...
分类:
Web程序 时间:
2014-08-14 10:22:18
阅读次数:
482