学习了Scala并发编程实战初体验及其在Spark源码中的应用解析，具体来说Scala就是通过并发的Actor。实现发送和接收消息来并发访问的，这样就不存在共享数据的问题下面举例：objectFirst_ActorextendsActor{//第一个线程defact(){for(i<-1to10){...
分类：
其他好文 时间：
2015-07-24 08:01:50
阅读次数：
321
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第66讲：Scala并发编程实战初体验及其在Spark源码中的应用解析百度云：http://pan.baidu.com/s/1pJ5jzHx腾讯微云：http://url.cn/aSawrm360云盘....
分类：
其他好文 时间：
2015-07-23 21:33:39
阅读次数：
115
王家林亲授《DT大数据梦工厂》大数据实战视频“Scala深入浅出实战经典”视频、音频和PPT下载！第66讲：Scala并发编程实战初体验及其在Spark源码中的应用解析百度云：http://pan.baidu.com/s/1pJ5jzHx腾讯微云：http://url.cn/aSawrm360云盘：...
分类：
其他好文 时间：
2015-07-23 21:29:09
阅读次数：
121
引入上一篇文章DAGScheduler源码浅析主要从提交Job的流程角度介绍了DAGScheduler源码中的重要函数和关键点，这篇DAGScheduler源码浅析2主要参考fxjwind的Spark源码分析 – DAGScheduler一文，介绍一下DAGScheduler文件中之前没有介绍的几个重要函数。事件处理在Spark 1.0版本之前，在DAGScheduler类中加入eventQueue...
分类：
其他好文 时间：
2015-07-15 19:19:35
阅读次数：
165
Apache Spark版本迭代速度很快，但是基本框架和经典组件保持这统一模式，所以学习Spark源码，我选择的是Apache Spark-1.0.0版本，通过分析几个主要模块的工作原理，理解Spark的运行过程。 通过LocalWordCount程序，调试Spark源码： LocalWordCou...
分类：
Web程序 时间：
2015-07-15 18:53:12
阅读次数：
139
前些天用maven编译打包spark，搞得焦头烂额的，各种错误，层出不穷，想想也是醉了，于是乎，换种方式，使用sbt编译，看看人品如何！ 首先，从官网spark官网下载spark源码包，解压出来。我这边使用的是1.4.0版本。 然后，我们需要把sbt配置好，配置很简单，无非就是SBT_HOM...
本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。
实验环境搭建
在进行后续操作前，确保下列条件已满足。
1. 下载spark binary 0.9.1
2. 安装scala
3. 安装sbt
4. 安装java
启动spark-shell单机模式运行，即local模式
local模式运行非常简单，只要...
分类：
其他好文 时间：
2015-06-14 09:38:28
阅读次数：
219
概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备1.spark已经安装完毕2.spark运行在localmode或local-clustermodelocal-clustermodelocal-cluster模式也称为伪分..
分类：
Web程序 时间：
2015-06-01 20:40:37
阅读次数：
130
概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备1. spark已经安装完毕2. spark运行在local mode或local-cluster modelocal-clust...
分类：
Web程序 时间：
2015-06-01 18:25:14
阅读次数：
128
概要
本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。
准备
1. spark已经安装完毕
2. spark运行在local mode或local-cluster mode
local-cluster
mode
local-cluster模式也称为伪分布...
分类：
Web程序 时间：
2015-06-01 16:46:52
阅读次数：
143
