在对 Spark 有了一定使用经验后,为了能够跟进 Spark 源代码的开发进展,对其源代码进行详细的阅读分析,本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码,并对其进行编译。 准备工作...
分类:
其他好文 时间:
2015-11-05 06:34:26
阅读次数:
213
转自:http://www.cnblogs.com/magj2006/p/4316264.htmlspark 系列文章汇总源码导读spark 源码导读1 从spark启动脚本开始spark 源码导读2 进一步窥探Master、Worker启动及通信机制spark 源码导读3 进一步理解脚本调用关系s...
分类:
其他好文 时间:
2015-10-29 06:12:54
阅读次数:
151
Task执行在上一节中,我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令,该命令的接收者是CoarseGrainedExecutorBackend(Standalone模式),类定义源码如下:private[spark] class CoarseGrainedExecutorBack...
分类:
其他好文 时间:
2015-10-29 00:49:13
阅读次数:
243
博文推荐:http://blog.csdn.net/anzhsoft/article/details/39268963,由大神张安站写的Spark架构原理,使用Spark版本为1.2,本文以Spark 1.5.0为蓝本,介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类:
其他好文 时间:
2015-10-25 01:01:27
阅读次数:
226
前一我们分析了SparkContext的创建,这一节,我们介绍在RDD执行的时候,如何提交job进行分析,同样是下面的源码:import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{
def main(args: Array[String]) {
if (args.length == 0) {...
分类:
其他好文 时间:
2015-10-20 06:40:55
阅读次数:
197
spark-submit 脚本应用程序提交流程执行提交命令如下:root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类:
其他好文 时间:
2015-10-19 22:36:11
阅读次数:
300
package com.leegh.actorimport scala.actors.Actor/** * @author Guohui Li */object First_Actor extends Actor { def act() { for (i <- 1 to 10) { ...
分类:
其他好文 时间:
2015-09-18 23:05:11
阅读次数:
226
从官方的文档我们可以知道,Spark的部署方式有很多种:local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的,但是如果我们从代码的角度来看,其实流程都差不多。 从代码中,我们可以...
分类:
其他好文 时间:
2015-09-02 16:03:31
阅读次数:
216
1.安装JDK1.7、Maven3.2.5、Scala2.10.4 2.下载解压Spark1.4.0 下载地址:http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4,给IDEA安装 Scala 插件,然后导入...
分类:
其他好文 时间:
2015-08-30 06:38:43
阅读次数:
327
课程内容
Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲)
Spark修炼之道(进阶篇)——Spark入门到精通(30讲)
Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲)
Spark修炼之道(高级篇)——Spark源码解析(50讲)
部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)——Linux大数据开发基础(15讲...
分类:
其他好文 时间:
2015-08-19 20:25:26
阅读次数:
720