码迷,mamicode.com
首页 >  
搜索关键字:spark源码    ( 225个结果
IntelliJ IDEA Spark源码分析
在对 Spark 有了一定使用经验后,为了能够跟进 Spark 源代码的开发进展,对其源代码进行详细的阅读分析,本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码,并对其进行编译。 准备工作...
分类:其他好文   时间:2015-11-05 06:34:26    阅读次数:213
spark学习系列
转自:http://www.cnblogs.com/magj2006/p/4316264.htmlspark 系列文章汇总源码导读spark 源码导读1 从spark启动脚本开始spark 源码导读2 进一步窥探Master、Worker启动及通信机制spark 源码导读3 进一步理解脚本调用关系s...
分类:其他好文   时间:2015-10-29 06:12:54    阅读次数:151
Spark修炼之道(高级篇)——Spark源码阅读:第八节 Task执行
Task执行在上一节中,我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令,该命令的接收者是CoarseGrainedExecutorBackend(Standalone模式),类定义源码如下:private[spark] class CoarseGrainedExecutorBack...
分类:其他好文   时间:2015-10-29 00:49:13    阅读次数:243
Spark修炼之道(高级篇)——Spark源码阅读:第二节 SparkContext的创建
博文推荐:http://blog.csdn.net/anzhsoft/article/details/39268963,由大神张安站写的Spark架构原理,使用Spark版本为1.2,本文以Spark 1.5.0为蓝本,介绍Spark应用程序的执行流程。 本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类:其他好文   时间:2015-10-25 01:01:27    阅读次数:226
Spark修炼之道(高级篇)——Spark源码阅读:第三节 Spark Job的提交
前一我们分析了SparkContext的创建,这一节,我们介绍在RDD执行的时候,如何提交job进行分析,同样是下面的源码:import org.apache.spark.{SparkConf, SparkContext}object SparkWordCount{ def main(args: Array[String]) { if (args.length == 0) {...
分类:其他好文   时间:2015-10-20 06:40:55    阅读次数:197
Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程
spark-submit 脚本应用程序提交流程执行提交命令如下:root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# ./spark-submit --master spark://sparkmaster:7077 --class SparkWordCount --executor-memory 1g /root/IdeaPr...
分类:其他好文   时间:2015-10-19 22:36:11    阅读次数:300
Scala并发编程实战初体验及其在Spark源码中的应用解析之Scala学习笔记-56
package com.leegh.actorimport scala.actors.Actor/** * @author Guohui Li */object First_Actor extends Actor { def act() { for (i <- 1 to 10) { ...
分类:其他好文   时间:2015-09-18 23:05:11    阅读次数:226
Spark源码分析:多种部署方式之间的区别与联系(1)
从官方的文档我们可以知道,Spark的部署方式有很多种:local、Standalone、Mesos、YARN.....不同部署方式的后台处理进程是不一样的,但是如果我们从代码的角度来看,其实流程都差不多。   从代码中,我们可以...
分类:其他好文   时间:2015-09-02 16:03:31    阅读次数:216
搭建Spark源码阅读环境
1.安装JDK1.7、Maven3.2.5、Scala2.10.4 2.下载解压Spark1.4.0 下载地址:http://mirrors.cnnic.cn/apache/spark/spark-1.4.0/spark-1.4.0.tgz 3.下载安装 IntelliJ IDEA 14.1.4,给IDEA安装 Scala 插件,然后导入...
分类:其他好文   时间:2015-08-30 06:38:43    阅读次数:327
Spark修炼之道——Spark学习路线、课程大纲
课程内容 Spark修炼之道(基础篇)——Linux基础(15讲)、Akka分布式编程(8讲) Spark修炼之道(进阶篇)——Spark入门到精通(30讲) Spark修炼之道(实战篇)——Spark应用开发实战篇(20讲) Spark修炼之道(高级篇)——Spark源码解析(50讲) 部分内容会在实际编写时动态调整,或补充、或删除。Spark修炼之道(基础篇)——Linux大数据开发基础(15讲...
分类:其他好文   时间:2015-08-19 20:25:26    阅读次数:720
225条   上一页 1 ... 12 13 14 15 16 ... 23 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!