第2课：Scala面向对象彻底精通及Spark源码阅读本期内容：1 Scala中的类、object实战详解 2 Scala中的抽象类、接口实战详解 3 综合案例及Spark源码解析一：定义类class HiScala{private var name = "Spark" def sayName(){...
分类：
其他好文 时间：
2016-01-03 17:32:51
阅读次数：
387
第一课：Scala入门 1：Scala的重大价值 2：Scala基础函数入门实战 3：Scala函数入门实战 4：Scala中的Array，Map，Tuple实战 5：综合案例及Spark源码解析Scala与Java的关系： 一：它们都是基于JVM的，但Scala可以调用Java的任何功...
分类：
其他好文 时间：
2016-01-02 16:06:23
阅读次数：
162
Spark中job由action动作生成，那么stage是如何划分的呢？一般的解答是根据宽窄依赖划分。那么我们深入源码看看吧一个action 例如count，会在多次runJob中传递，最终会到一个函数 dagScheduler.runJob(rdd, cleanedFunc, partitions...
分类：
其他好文 时间：
2016-01-01 23:04:37
阅读次数：
319
转自：http://www.cnblogs.com/hseagle/p/3673123.html在源码阅读时，需要重点把握以下两大主线。静态view即 RDD, transformation and action动态view即life of a job, 每一个job又分为多个stage，每一个st...
分类：
其他好文 时间：
2015-12-31 19:00:49
阅读次数：
173
本例记录spark源码编译的过程及问题因为编译会有很多很多莫名其妙的错误，为了方便，使用hadoop的cdh版本，注意版本要和我的一致，环境：maven3.0.5 scala2.10.4 下载地址：http://www.scala-la...
分类：
其他好文 时间：
2015-12-15 20:50:49
阅读次数：
167
转自：http://www.cnblogs.com/hseagle/p/3664933.html楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读...
分类：
Web程序 时间：
2015-11-25 10:11:18
阅读次数：
204
TransportContext用来创建TransportServer和TransportclientFactory,同时使用TransportChannelHandler用来配置channel的pipelines,TransportClient提供了两种传输协议，一个是数据层(fetch chun...
分类：
Web程序 时间：
2015-11-22 13:59:06
阅读次数：
164
在上节的解读中发现spark的源码中大量使用netty的buffer部分的api,该节将看到netty核心的一些api,比如channel:在Netty里，Channel是通讯的载体(网络套接字或组件的连接)，而ChannelHandler负责Channel中的逻辑处理,channel支持读，写，绑...
分类：
Web程序 时间：
2015-11-22 12:38:10
阅读次数：
282
JDK里面有TimeUnit,看spark源码有个ByteUnit。这个类还是挺不错的。public enum ByteUnit { BYTE (1), KiB (1024L), MiB ((long) Math.pow(1024L, 2L)), GiB ((long) Ma...
分类：
其他好文 时间：
2015-11-06 11:12:44
阅读次数：
168
Driver与Executor间的消息传递
class DriverEndpoint(override val rpcEnv: RpcEnv, sparkProperties: Seq[(String, String)])
extends ThreadSafeRpcEndpoint with Logging {
//省略非关键代码
override def rece...
分类：
其他好文 时间：
2015-11-06 00:23:27
阅读次数：
450
