引言: 消息系统是互联网公司在应对大流量、高负载系统中非常常用的一种系统通信机制,它除了可以将不同系统解耦,还可以实现不同的多点系统之间的同步或异步通信机制,它的高性能、高扩展性以及稳定性,一直为各大公司所广泛采用,并且各个互联网公司都开发了各自的分布式消息系统,比如阿里、360、京东等等。本文将基于开源的rabbitMq为例,来介绍其安装和部署的基本过程。...
分类:
其他好文 时间:
2015-01-07 20:57:50
阅读次数:
209
版权所有,未经华为书面许可,请勿转载。
基于云计算总体架构下的媒体云解决方案如图2-35所示。
图2-35
媒体云解决方案架构子系统组合
媒体云解决方案依托云计算平台的弹性计算集群,弹性存储集群,分布式结构化存储服务,以及分布式消息队列服务,为广电系统电视台企业提供高效率的媒体存储、编辑及缓存加速的计算与存储资源托管服务。
媒体云采用云平台的...
分类:
其他好文 时间:
2014-12-27 11:28:25
阅读次数:
293
1.背景最近因为工作需要,调研了追求高吞吐的轻量级消息系统Kafka,打算替换掉线上运行的ActiveMQ,主要是因为明年的预算日流量有十亿,而ActiveMQ的分布式实现的很奇怪,所以希望找一个适合分布式的消息系统。以下是内容是调研过程中总结的一些知识和经验,欢迎拍砖。2.基础知识2.1.什么是消...
分类:
其他好文 时间:
2014-12-21 20:36:57
阅读次数:
290
kafka单机部署kafka是一种高吞吐量的分布式发布订阅消息系统,kafka是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为环境配置:
CentOSrelease6.3(Final)
jdk版本:jdk-6u31-linux-x64-rpm.bin
zookeeper版..
分类:
其他好文 时间:
2014-12-19 19:23:50
阅读次数:
225
扩展性是指对现有系统影响最小的情况下,系统功能可持续扩展或提升的能力。设计网站可扩展架构的核心思想是模块化,并在此基础上,降低模块间的耦合性,提供模块的复用性。模块通过分布式部署,独立的模块部署在独立的服务器上(集群)从物理上分离模块之间的耦合关系。 模块分布式部署以后具体聚合方式主要有分布式消息....
分类:
Web程序 时间:
2014-12-19 18:59:36
阅读次数:
167
###############################################
#异步、分布式消息处理模型
###############################################
binding +-------+ +----------+...
分类:
其他好文 时间:
2014-12-12 19:13:31
阅读次数:
158
MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付...
分类:
Web程序 时间:
2014-12-10 22:42:01
阅读次数:
288
最近在研究Microsoft Azure,在分布式消息传递上,Amazon的AWS有SQS,而在Microsoft Azure上与之对应的是Service Bus Queue。 Service Bus队列(Queue)的作用是,在分布式应用程序的组件通信时,组件间不会直接相互通信,而是通过充当...
分类:
编程语言 时间:
2014-12-05 17:09:07
阅读次数:
192
akka 并发编程框架
kafka 高吞吐量分布式消息系统
akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。
Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题。其特点如下:
...
分类:
其他好文 时间:
2014-12-01 17:37:20
阅读次数:
343
一. Kafka中的相关概念的介绍
Kafka是一个scala实现的分布式消息中间件,其中涉及到的相关概念如下:
Kafka中传递的内容称为message(消息),message 是通过topic(话题)进行分组的 topic 和message 的关系是一对多的关系我们称发布message的进程为producer ,就是说producer生成message>对然...
分类:
其他好文 时间:
2014-11-13 22:37:11
阅读次数:
353