分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发...
分类：
其他好文 时间：
2015-05-06 14:51:36
阅读次数：
174
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（ma...
分类：
其他好文 时间：
2015-04-17 07:05:30
阅读次数：
152
介绍分布式系统主要分为分布式计算系统，与分布式存储系统。系统相关
分类：
其他好文 时间：
2015-04-06 18:30:15
阅读次数：
147
CAP定理简介在理论计算机科学中，CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer's theorem），它指出对于一个分布式计算系统来说，不可能同时满足以下三点：一致性（Consistency)：同一个数据在集群中的所有节点，同一时刻是否都是同样的值。可用性（Availabi...
分类：
其他好文 时间：
2015-04-01 21:45:17
阅读次数：
261
spark是个啥？Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark和Hadoop有什么不同呢?Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存...
分类：
其他好文 时间：
2015-03-20 12:49:49
阅读次数：
306
from wikipedia CAP定理CAP定理（CAP theorem），又被称作布鲁尔定理（Brewer's theorem），它指出对于一个分布式计算系统来说，不可能同时满足以下三点：一致性（Consistency）可用性（Availability）容忍网络分区（Partition tole...
分类：
其他好文 时间：
2015-03-10 13:49:04
阅读次数：
139
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
转载 http://www.superwu.cn/2014/01/10/9631.1.1. hadoop的核心思想Hadoop包括两大核心，分布式存储系统和分布式计算系统。1.1.1.1. 分布式存储为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些...
分类：
其他好文 时间：
2014-11-27 12:15:25
阅读次数：
219
自1999年创立以来，Apache软件基金会如今已成了众多重要的开源软件项目之家。其中成功的项目有Geronimo，有Tomcat，有Hadoop，有如今成了大数据王国关键车毂的分布式计算系统。 虽然Apache没有去维护有关下载量的完备统计数字，但是像Apache HTTP Server，已成为....
分类：
Web程序 时间：
2014-10-23 16:04:35
阅读次数：
367
随着项目经验的增长笔者对分布式计算的了解是越来越深入，那么接下来笔者就和大家浅谈下分布式系统的特点吧，可以这样理解，分布式系统是将多个子任务分布在不同的物理机上并行工作。是以空间换时间并行计算来提高程序的可靠性和性能。分布式系统的高性能计算属于MIMD的范畴领域。它是按不同的业务分配不同的节点（单点...
分类：
其他好文 时间：
2014-09-15 15:54:39
阅读次数：
249
