隐式转换函数implicit def function例如implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])scala> class Person(val name: String)defined class Personscala>...
分类：
其他好文 时间：
2016-01-13 00:35:22
阅读次数：
261
定义类class HiScala {private var name = "Spark"def sayName(){println(name)}def getName=name}实例化类scala> val scal = new HiScalascal: HiScala = HiScala@769d...
分类：
其他好文 时间：
2016-01-10 22:32:50
阅读次数：
184
本课内容: 1：scala中函数式编程彻底详解 2：Spark源码中的scala函数式编程 3：案例和作业函数式编程开始： def fun1(name: String){ println(name) } //将函数名赋值给一个变量，那么这个变量就是一个函数了。 val fun1_v = fun1_....
分类：
其他好文 时间：
2016-01-04 22:35:29
阅读次数：
201
第2课：Scala面向对象彻底精通及Spark源码阅读本期内容：1 Scala中的类、object实战详解 2 Scala中的抽象类、接口实战详解 3 综合案例及Spark源码解析一：定义类class HiScala{private var name = "Spark" def sayName(){...
分类：
其他好文 时间：
2016-01-03 17:32:51
阅读次数：
387
Spark中job由action动作生成，那么stage是如何划分的呢？一般的解答是根据宽窄依赖划分。那么我们深入源码看看吧一个action 例如count，会在多次runJob中传递，最终会到一个函数 dagScheduler.runJob(rdd, cleanedFunc, partitions...
分类：
其他好文 时间：
2016-01-01 23:04:37
阅读次数：
319
TransportContext用来创建TransportServer和TransportclientFactory,同时使用TransportChannelHandler用来配置channel的pipelines,TransportClient提供了两种传输协议，一个是数据层(fetch chun...
分类：
Web程序 时间：
2015-11-22 13:59:06
阅读次数：
164
在上节的解读中发现spark的源码中大量使用netty的buffer部分的api,该节将看到netty核心的一些api,比如channel:在Netty里，Channel是通讯的载体(网络套接字或组件的连接)，而ChannelHandler负责Channel中的逻辑处理,channel支持读，写，绑...
分类：
Web程序 时间：
2015-11-22 12:38:10
阅读次数：
282
Driver与Executor间的消息传递
class DriverEndpoint(override val rpcEnv: RpcEnv, sparkProperties: Seq[(String, String)])
extends ThreadSafeRpcEndpoint with Logging {
//省略非关键代码
override def rece...
分类：
其他好文 时间：
2015-11-06 00:23:27
阅读次数：
450
Task执行在上一节中，我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令，该命令的接收者是CoarseGrainedExecutorBackend（Standalone模式），类定义源码如下：private[spark] class CoarseGrainedExecutorBack...
分类：
其他好文 时间：
2015-10-29 00:49:13
阅读次数：
243
博文推荐：http://blog.csdn.net/anzhsoft/article/details/39268963，由大神张安站写的Spark架构原理，使用Spark版本为1.2，本文以Spark 1.5.0为蓝本，介绍Spark应用程序的执行流程。
本文及后面的源码分析都以下列代码为样板import org.apache.spark.{SparkConf, SparkContext}obje...
分类：
其他好文 时间：
2015-10-25 01:01:27
阅读次数：
226
