即日起开始spark源码阅读之旅，这个过程是相当痛苦的，也许有大量的看不懂，但是每天一个方法，一点点看，相信总归会有极大地提高的。那么下面开始： 创建sparkConf对象，那么究竟它干了什么了类,从代码层面，我们可以看到我们需要setMaster啊，setAppName啊，set blabla啊。 ...
分类：
其他好文 时间：
2016-11-20 19:11:22
阅读次数：
3361
IntelliIDEA开发Spark工程关联Spark源码！一、关联什么？一般关联zip、jar等，但是Spark的源码是tgz格式的，没法关联，没关系，下载tgz的，解压缩成目录。二、怎么关联？第1步先选中工程。选择Projectstructure。选择Spark2.0的目录。回到工程，ctrl+鼠标单击。进入scala文件。..
分类：
其他好文 时间：
2016-11-15 20:58:12
阅读次数：
366
spark都进化到2.0了，虽然之前对spark有所了解但总感觉似懂非懂的，所以想花时间看看源码。 面对大量的源码从哪里着手呢，想到老子的一句话“天下难事必作于易，天下大事必作于细”，所以就从脚本部分来啃。 因本人脚本编程能力也并不是那么强，所以在总结的时候会穿插一些shell的东西。此处只介绍sh ...
分类：
其他好文 时间：
2016-10-26 16:16:30
阅读次数：
380
从git获取Spark源码从IDEA，新建project，从版本库中获取https://github.com/apache/spark
分类：
其他好文 时间：
2016-10-25 03:12:51
阅读次数：
169
掌握implicit的用法是阅读Spark源码的基础，也是学习Scala其它的开源框架的关键，implicit 可分为： 隐式参数 隐式转换类型 隐式调用函数 1.隐式参数 当我们在定义方法时，可以把最后一个参数列表标记为implicit，表示该组参数是隐式参数。一个方法只会有一个隐式参数列表，置于 ...
分类：
其他好文 时间：
2016-10-13 13:58:42
阅读次数：
189
我的Spark源码核心SparkContext走读全纪录DirverProgram(SparkConf)packageorg.apache.spark.SparkConfMasterpackageorg.apache.spark.deploy.masterSparkContextpackageorg.apache.spark.SparkContextStagepackageorg.apache.spark.scheduler.StageTaskpackageorg.apache.spar..
分类：
其他好文 时间：
2016-09-23 21:42:39
阅读次数：
100
记载我的spark源码阅读火花知识点：1、seq:列表，适合存有序重复数据，进行快速插入/删除元素等场景,Set是集合，适合存无序非重复数据，进行快速查找海量元素等场景memoryKeys=Seq(
)2、private声明变量为私有privatevalhadoopConf=SparkHadoopUtil.get.newConfiguration(conf)..
分类：
其他好文 时间：
2016-09-23 15:19:24
阅读次数：
162
前言 Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。 SBT编译需要安装git工具，而Maven安装则需要maven工具，两种方式均需要在联网 下进行。 尽管maven是Spark官网推荐的编译方式，但是sbt的编译速度更胜一筹。 ...
分类：
其他好文 时间：
2016-09-12 18:42:46
阅读次数：
171
对于啊，无论是hadoop，还是spark而言。都有源码压缩包和预编译压缩包！ 如下。 如果想更深入地学习Spark/hadoop，或者是以后志向成为大数据领域的大牛/专家，强烈推荐自己动手编译源码。 包括 ： hadoop源码编译 见 ... 链接，后续推送 spark源码编译 见 ....链接， ...
分类：
其他好文 时间：
2016-09-11 12:50:51
阅读次数：
110
前传第15课：Scala类型参数编程实战及Spark源码鉴赏 本課課程： Spark源码中的Scala类型系統的使用 classOf[RDD[_]] 這個也是类型系統 這里的意思是說 B 這種類型必需至少是 A 這樣類型 Ordering Scala类型系統编程操作实战 作為類型系統最大的就可以對類 ...
分类：
其他好文 时间：
2016-08-08 19:27:43
阅读次数：
156
