Spark API编程动手实战-03-以在Spark 1.2版本实现对Job输出结果进行排序...
分类：
编程语言 时间：
2015-01-23 18:30:06
阅读次数：
267
异常截图： 解决方法： export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
分类：
编程语言 时间：
2015-01-23 17:45:40
阅读次数：
190
Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count...
了解RDD之前，必读UCB的论文，个人认为这是最好的资料，没有之一。http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf A Resilient Distributed Dataset (RDD), the basic abstra...
分类：
其他好文 时间：
2015-01-23 06:12:04
阅读次数：
448
SparkContext 是spark的程序入口，相当于熟悉的‘main’函数。它负责链接spark集群、创建RDD、创建累加计数器、创建广播变量。/** * Main entry point for Spark functionality. A SparkContext represents th...
分类：
其他好文 时间：
2015-01-23 06:09:39
阅读次数：
1394
Spark API编程动手实战-01-以本地模式进行Spark API实战map、filter和collect
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.2.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-B...
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案
Spark性能优化的10大问题及其解决方案...
分类：
其他好文 时间：
2015-01-22 11:10:02
阅读次数：
149
spark支持YARN做资源调度器，所以YARN的原理还是应该知道的：http://www.socc2013.org/home/program/a5-vavilapalli.pdf 但总体来说，这是一篇写得一般的论文，它的原理没有什么特别突出的，而且它列举的数据没有对比性，几乎看不出YARN有什么优...
分类：
Web程序 时间：
2015-01-22 01:40:48
阅读次数：
521
spark内核揭秘-12-AppClient注册Master
一个资源大管家，其职责主要包括两个方面：
* Cluster资源的管理和Cluster的通讯管理
*
* 资源管理
*** Worker资源 RegisterWorker WorkDirCleanup
*** Driver资源 RequestSubmitDriver RequestKillDriver
*** App资源 RegisteredApplication
*** Executor资...
分类：
移动开发 时间：
2015-01-21 22:38:51
阅读次数：
299
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析
spark内核揭秘-13-Worker中Executor启动过程源码分析...
分类：
其他好文 时间：
2015-01-21 22:32:54
阅读次数：
307
