package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-19.
* 根据key对K-V类型的RDD进行排序获得新的RDD
*/
object SortByKey {
def main(args: Array[String]) {...
分类：
其他好文 时间：
2015-01-20 23:59:25
阅读次数：
500
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-02...
分类：
其他好文 时间：
2015-01-20 20:38:35
阅读次数：
233
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01
spark内核揭秘-09-RDD的count操作 触发Job全生命周期-01...
分类：
其他好文 时间：
2015-01-20 18:06:57
阅读次数：
211
在spark1.2版本中最令我期待的功能是External Data Sources，通过该API可以直接将External Data Sources注册成一个临时表，该表可以和已经存在的表等通过sql进行查询操作。External Data Sources API代码存放于org.apache.s...
分类：
数据库 时间：
2015-01-20 15:06:56
阅读次数：
1170
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面
spark内核揭秘-08-spark的Web监控页面...
分类：
Web程序 时间：
2015-01-20 13:47:16
阅读次数：
173
spark论文中说他使用了延迟调度算法，源于这篇论文：http://people.csail.mit.edu/matei/papers/2010/eurosys_delay_scheduling.pdf同时它也是hadoop的调度算法。Abstractdelayscheduling: when th...
分类：
其他好文 时间：
2015-01-20 06:10:56
阅读次数：
231
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验
spark内核揭秘-07-DAGScheduler源码解读初体验...
分类：
其他好文 时间：
2015-01-19 20:59:01
阅读次数：
180
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验
spark内核揭秘-06-TaskSceduler启动源码解析初体验...
分类：
其他好文 时间：
2015-01-19 19:06:45
阅读次数：
148
SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：
进入createTaskScheduler方法：
spark内核揭秘-05-SparkContext核心源码解析初体验
我们看一下其Standalone的方式：
在上述代码中首先实例化一个TaskSchedulerImpl：
然后构建出了masterUrls：
接着创建出了非常关键的backend：...
分类：
其他好文 时间：
2015-01-19 15:47:44
阅读次数：
169
package com.latrobe.spark
import org.apache.spark.{SparkContext, SparkConf}
/**
* Created by spark on 15-1-18.
*/
object FoldByKey {
def main(args: Array[String]) {
val conf = new SparkConf(...
分类：
数据库 时间：
2015-01-19 00:19:50
阅读次数：
782
