设计目标 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持Kafka Server间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 Scale out：支持在线水平扩展 以时间复杂度为O(1)的方式 ...
分类：
其他好文 时间：
2016-08-24 12:53:46
阅读次数：
122
nosql:非关系型，分布式，不提供ACID简单数据模型元数据和应用数据分离弱一致性 优势：避免不必要的复杂性高吞吐量高水平扩展能力和低端硬件集群不使用对象-关系映射 劣势：不支持ACID特性功能简单没有统一的数据查询模型ACID：atomicity原子性、consistency一致性、isolatio..
分类：
数据库 时间：
2016-07-25 10:36:38
阅读次数：
219
topic中partition存储分布 Topic在逻辑上可以被认为是一个queue。每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得 Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition在物理上对 ...
分类：
其他好文 时间：
2016-07-22 18:56:39
阅读次数：
3493
Postgres-XL 是一个完全满足ACID的、开源的、可方便进行水平扩展的、多租户安全的。支持share-nothing;支持海量数据并行处理-MPP(Massively Parallel Processing)。是不是跟 greenplum很相似。 主机分配 3台主机，安装centos6.2。 ...
分类：
其他好文 时间：
2016-07-06 13:21:57
阅读次数：
747
一、什么是Postgres-XL XL的意思是：eXtensible Lattice，可以扩展的格子，即将PostgreSQL应用在多机器上的分布式数据库的形象化表达。 Postgres-XL 是一个完全满足ACID的、开源的、可方便进行水平扩展的、多租户安全的、基于PostgreSQL的数据库解决 ...
分类：
其他好文 时间：
2016-07-06 13:15:10
阅读次数：
155
功能介绍 跨语言通信 方便的使Java、Python、C++三种程序可以相互通信 负载均衡和容灾处理 方便的实现任务的分布式处理 支持服务的水平扩展，自动发现新的服务节点 能够兼容各种异常情况，如节点的异常down机 可视化管理 通过服务管理系统可以方便查看服务状态和统计信息 与原生thrift通信 ...
分类：
编程语言 时间：
2016-07-04 23:47:11
阅读次数：
463
好处： 解决传统单块风格应用的问题： 单一代码库，代码维护复杂 单一发布单元，测试困难 单一发布单元，发布困难 对服务器硬件配置要求极高，垂直扩展困难 无法做到无状态，水平扩展困难 解决集中式服务管理机制的问题： 有可能出现单点故障 可伸缩性差，容易出现性能瓶颈 解决重量级通信机制的问题： 基于HT ...
分类：
其他好文 时间：
2016-07-04 18:44:06
阅读次数：
106
一、NoSQL 了解Mongodb之前先了解一下NoSQL，NoSQL是Not Only SQL的缩写。由提供缺乏SQL关系数据库的严格限制模型的存储和检索技术组成。主要是简化设计、水平扩展以及对数据的可用性进行更精细的控制。NoSQL有多种技术例如:Redis的键值结构、HBase的列结构等。 二 ...
分类：
数据库 时间：
2016-06-30 16:22:08
阅读次数：
166
一个大型的互联网系统，采用负载均衡原理实现高可用是最基本的要求，几年前，要想做到这点，得是大公司，找牛逼的技术员才行，现在，阿里云出来之后，门槛极大降低，让运营方可以全心去做运营，不用再为技术方面考虑太多，下图是一个比较典型的利用阿里云提供的各项服务，搭建的一个可水平扩展的部署方案。 这个方案有以下 ...
分类：
其他好文 时间：
2016-06-22 10:58:34
阅读次数：
115
这是一种将海量的数据水平扩展的数据库集群系统，数据分表存储在sharding 的各个节点上，使用者通过简单的配置就可以很方便地构建一个分布式MongoDB 集群。 MongoDB 的数据分块称为 chunk。每个 chunk 都是 Collection 中一段连续的数据记录，通常最大尺寸是 200M ...
分类：
其他好文 时间：
2016-06-20 12:37:51
阅读次数：
183
