摘要：Spark是继Hadoop之后的新一代大数据分布式处理框架，由UC Berkeley的Matei Zaharia主导开发。我只能说是神一样的人物造就的神器，详情请猛击http://www.spark-project.org/ Created 2012-05-09 Modified 2012-0...
分类：
其他好文 时间：
2015-01-29 21:05:36
阅读次数：
239
了解RDD之前，必读UCB的论文，个人认为这是最好的资料，没有之一。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf A Resilient Distributed Dataset (RDD), the basic abstra...
分类：
其他好文 时间：
2015-01-23 06:12:04
阅读次数：
448
spark论文中说他使用了延迟调度算法，源于这篇论文：http://people.csail.mit.edu/matei/papers/2010/eurosys_delay_scheduling.pdf同时它也是hadoop的调度算法。Abstractdelayscheduling: when th...
分类：
其他好文 时间：
2015-01-20 06:10:56
阅读次数：
231
http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf ucb关于spark的论文，对spark中核心组件RDD最原始、本质的理解，没有比这个更好的资料了。必读。AbstractRDDs provide arestricted for...
分类：
其他好文 时间：
2015-01-18 07:03:31
阅读次数：
394
RDD是Spark最基本，也是最根本的数据抽象。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 是关于RDD的论文。如果觉得英文阅读太费时间，可以看这篇译文：http://shiyanjun.cn/archives/744.html
本文也是基于这篇论文和源码，分析RDD的实现。
第一个问题，RDD是什么？Resilient Distributed Datasets（RDD，） 弹性分布式数据集。RDD是只读的、分区记录的集合。RD...
分类：
其他好文 时间：
2014-10-07 18:59:34
阅读次数：
331
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
随着处理器提升速度下降和数据量的不断增长，很多公司和组织（既有互联网公司也有传统的企业还有一些研究机构）都要求他们的应用能够Scale out到更大的分布式系统上（比如整个数据中心）。这些应用又分为以下几种类型：...
分类：
其他好文 时间：
2014-08-05 19:28:10
阅读次数：
245
Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD，及其在内存上的容错，内容基于论文Zaharia, Matei, et al. "Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In...
分类：
其他好文 时间：
2014-06-14 20:42:37
阅读次数：
326
