前面说到向executorActor(task.executorID)发送LaunchTask(task)消息，在CoarseGrainedExecutorBackend中定义receive接收launchTask消息，执行executor.launchTaskoverride def receiv...
分类：
Web程序 时间：
2015-07-26 22:35:58
阅读次数：
342
回到dagScheduler.runJob，submit提交作业返回waiter，waiter.awaitResult阻塞线程，判断Job是否执行成功def runJob[T, U: ClassTag]( rdd: RDD[T], func: (TaskContext, Iter...
分类：
Web程序 时间：
2015-07-26 22:32:54
阅读次数：
200
1.引入spark包：spark-assembly-1.4.0-hadoop2.6.0,在spark的lib目录下File-->project structure2.用IDEA建立一个scala项目，新建一个WordCount的object3.WordCount代码如下：import org.apa...
分类：
其他好文 时间：
2015-07-26 22:14:16
阅读次数：
175
Scala并发编程react、loop代码实战详解...
分类：
其他好文 时间：
2015-07-26 15:48:45
阅读次数：
136
Map练习object MapOps { def main(args: Array[String]): Unit = { val ages = Map("Rocky" -> 27, "Spark" -> 5) for ((k, v) <- ages) println("Key...
分类：
其他好文 时间：
2015-07-26 12:31:59
阅读次数：
110
RDD的操作可以分为Transformations和Actions，Transformations是lazy的不立即执行，Action则会触发作业的提交和执行。例如本例中的foreachdef foreach(f: T => Unit) { sc.runJob(this, (iter: Itera....
分类：
Web程序 时间：
2015-07-26 10:58:09
阅读次数：
139
刚才看了一下，群里王家林老师又更新课程了，真为王老师的勤奋感到佩服，于是迫不及待的下载下来观看学习。本期讲的是关于scala并发编程的react、loop代码实战。信息来源于 DT大数据梦工厂微信公众账号：DT_Spark关注微信账号，获取更多关于王家林老师的课程内容王家林亲授《DT大数据梦工厂》大...
分类：
其他好文 时间：
2015-07-26 05:56:37
阅读次数：
177
scala并发编程原生线程Actor、Case Class下的消息传递和偏函数实战...
分类：
编程语言 时间：
2015-07-26 00:35:16
阅读次数：
140
什么是Spark
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的ma...
分类：
其他好文 时间：
2015-07-25 09:29:52
阅读次数：
140
学习了Scala并发编程匿名Actor、消息传递、偏函数实战解析及其在Spark源码中的应用解析，具体来说Scala就是通过actor_message=actor{}，实现匿名Actor并发消息传递的，这样就的方法在spark用应用很广泛，极大地简化了程序编写，提高效率：defmain(args:A...
分类：
其他好文 时间：
2015-07-25 08:19:03
阅读次数：
224
