Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count...
了解RDD之前，必读UCB的论文，个人认为这是最好的资料，没有之一。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf A Resilient Distributed Dataset (RDD), the basic abstra...
分类：
其他好文 时间：
2015-01-23 06:12:04
阅读次数：
448
SparkContext 是spark的程序入口，相当于熟悉的‘main’函数。它负责链接spark集群、创建RDD、创建累加计数器、创建广播变量。/** * Main entry point for Spark functionality. A SparkContext represents th...
分类：
其他好文 时间：
2015-01-23 06:09:39
阅读次数：
1394
Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.2.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-B...
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案...
分类：
其他好文 时间：
2015-01-22 11:10:02
阅读次数：
149
spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优...
分类：
Web程序 时间：
2015-01-22 01:40:48
阅读次数：
521
spark内核揭秘-12-AppClient注册Master
一个资源大管家，其职责主要包括两个方面：
* Cluster资源的管理和Cluster的通讯管理
*
* 资源管理
*** Worker资源 RegisterWorker WorkDirCleanup
*** Driver资源 RequestSubmitDriver RequestKillDriver
*** App资源 RegisteredApplication
*** Executor资...
分类：
移动开发 时间：
2015-01-21 22:38:51
阅读次数：
299
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析...
分类：
其他好文 时间：
2015-01-21 22:32:54
阅读次数：
307
spark内核揭秘-11-Driver中AppClient源码分析
Interface allowing applications to speak with a Spark deploy cluster. Takes a master URL,an app description, and a listener for cluster events, and calls back the listener when various events occur....
分类：
移动开发 时间：
2015-01-21 20:11:19
阅读次数：
155
spark内核揭秘-10-RDD源码分析
**
* A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,
* partitioned collection of elements that can be operated on in parallel. This class contains the
* basic operations available on a...
分类：
其他好文 时间：
2015-01-21 16:37:59
阅读次数：
196
