本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1.下载sparkbinary0.9.12.安装scala3.安装sbt4.安装java启动spark-shell单机模式运行，即local模式local模式运行非常简单，只要运行以..
分类：
Web程序 时间：
2015-05-28 18:21:38
阅读次数：
327
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要运行以下命令即可，假设当前目录是...
分类：
Web程序 时间：
2015-05-28 18:13:05
阅读次数：
208
Scala构建工具（SBT）的使用SBT介绍SBT是Simple Build Tool的简称，如果读者使用过Maven，那么可以简单将SBT看做是Scala世界的Maven，虽然二者各有优劣，但完成的工作基本是类似的。
虽然Maven同样可以管理Scala项目的依赖并进行构建，但SBT的某些特性却让人如此着迷，比如：
使用Scala作为DSL来定义build文件（one language...
分类：
其他好文 时间：
2015-05-28 18:12:15
阅读次数：
148
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。1. 下载spark binary 0.9.12. 安装scala3. 安装sbt4. 安装java启动spark-shell单机模式运行，即local...
分类：
Web程序 时间：
2015-05-28 17:39:19
阅读次数：
231
Spark Contributor，Databricks工程师连城，华为大数据平台开发部部长陈亮，网易杭州研究院副院长汪源，TalkingData首席数据科学家张夏天联袂力荐1.本书全面、系统地介绍了Spark源码，深入浅出，细致入微2.提供给读者一系列分析源码的实用技巧，并给出一个合理的阅读顺序....
分类：
Web程序 时间：
2015-04-09 06:22:34
阅读次数：
163
Executor.scala一、Executor类首先判断本地性，获取slaves的host name（不是IP或者host: port），匹配运行环境为集群或者本地。如果不是本地执行，需要启动一个handler来监控所有的executor进程，避免阻塞。然后，初始化Spark执行环境。向Spark...
分类：
其他好文 时间：
2015-03-16 12:42:09
阅读次数：
165
相关类：MapOutputTrackerMessage，GetMapOutputStatuses extends MapPutputTrackerMessage，StopMapOutputTracker extends MapOutputTrackerMessage，MapOutputTracker...
分类：
其他好文 时间：
2015-03-05 21:00:56
阅读次数：
223
一、BlockResult类该类用来表示返回的匹配的block及其相关的参数。共有三个参数：data：Iterator [Any]。readMethod： DataReadMethod.Value。bytes： Long。实例化InputMetrics类。二、BlockManager类关系的参数有e...
分类：
其他好文 时间：
2015-03-05 21:00:14
阅读次数：
980
上一篇文章spark 源码理解1 从spark启动脚本开始是分析执行start_all.sh时，集群中启动了哪些进程，下面我们再深入一点看看这些进程都是做什么用的，它们之间又是如何通信的？一、Master进程的启动Master进程，它主要负责对Worker、Driver、App等资源的管理并与它们进...
分类：
其他好文 时间：
2015-03-05 16:27:43
阅读次数：
173
TaskSetManager.scalaTaskSet是指一系列被提交的task，一般是代表特定的stage中丢失的partition。TaskSetManager通过一个TaskSchedulerImpl实体来对TaskSet进行管理。该方法定义了以下参数：EXECUTOR_TASK_BLACKL...
分类：
其他好文 时间：
2015-03-05 16:21:14
阅读次数：
156
