spark内核揭秘-11-Driver中AppClient源码分析
Interface allowing applications to speak with a Spark deploy cluster. Takes a master URL,an app description, and a listener for cluster events, and calls back the listener when various events occur....
分类：
移动开发 时间：
2015-01-21 20:11:19
阅读次数：
155
spark内核揭秘-10-RDD源码分析
**
* A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable,
* partitioned collection of elements that can be operated on in parallel. This class contains the
* basic operations available on a...
分类：
其他好文 时间：
2015-01-21 16:37:59
阅读次数：
196
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类：
其他好文 时间：
2015-01-20 23:59:25
阅读次数：
500
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02...
分类：
其他好文 时间：
2015-01-20 20:38:35
阅读次数：
233
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01...
分类：
其他好文 时间：
2015-01-20 18:06:57
阅读次数：
211
在spark1.2版本中最令我期待的功能是External Data Sources，通过该API可以直接将External Data Sources注册成一个临时表，该表可以和已经存在的表等通过sql进行查询操作。External Data Sources API代码存放于org.apache.s...
分类：
数据库 时间：
2015-01-20 15:06:56
阅读次数：
1170
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面...
分类：
Web程序 时间：
2015-01-20 13:47:16
阅读次数：
173
spark论文中说他使用了延迟调度算法，源于这篇论文：http://people.csail.mit.edu/matei/papers/2010/eurosys_delay_scheduling.pdf同时它也是hadoop的调度算法。Abstractdelayscheduling: when th...
分类：
其他好文 时间：
2015-01-20 06:10:56
阅读次数：
231
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验...
分类：
其他好文 时间：
2015-01-19 20:59:01
阅读次数：
180
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验...
分类：
其他好文 时间：
2015-01-19 19:06:45
阅读次数：
148
