def nonNegativeMod(x: Int, mod: Int): Int = { val rawMod = x % mod rawMod + (if (rawMod 0 case _ => Utils.nonNegativeMod(key.hashCode, numPartitions) ... ...
分类：
其他好文 时间：
2017-08-06 14:03:03
阅读次数：
198
转载自https://github.com/linbojin/spark-notes/blob/master/ide-setup.md 搭建Spark源码研读和代码调试的开发环境 Table of Contents 源码获取与编译 从Github上获取Spark源码 编译Spark项目 源码导入与代 ...
分类：
其他好文 时间：
2017-06-11 15:40:47
阅读次数：
205
前言：本文是我学习Spark 源码与内部原理用，同时也希望能给新手一些帮助，入道不深，如有遗漏或错误的，请在原文评论或者发送至我的邮箱 tongzhenguotongzhenguo@gmail.com 摘要： 1.作业调度核心——DAGScheduler 2.DAGScheduler类说明 2.1D ...
分类：
其他好文 时间：
2017-06-03 18:15:58
阅读次数：
406
1.下载spark源码包 http://spark.apache.org/downloads.html 2.安装Scala与maven，解压spark源码包 安装Scala： tar zxf scala-2.11.8.tar 修改vim /etc/profile export SCALA_HOME= ...
分类：
其他好文 时间：
2017-05-24 18:31:30
阅读次数：
252
准备：1.ubuntu操作系统2.百度一下 IDEA， 到官网下载IDEA安装包 下载完成解压到指定目录下如：tar -zxvf xxx,xxx -C /opt/idea运行/optt/idea/xxx/bin/idea.sh如： 这个过程中可以选择安装 scala sbt 开始： 3.sbt up ...
分类：
其他好文 时间：
2017-03-27 11:20:24
阅读次数：
148
掌握implicit的用法是阅读Spark源码的基础，也是学习Scala其它的开源框架的关键，implicit 可分为： 隐式参数 隐式转换类型 隐式调用函数 1.隐式参数 当我们在定义方法时，可以把最后一个参数列表标记为implicit，表示该组参数是隐式参数。一个方法只会有一个隐式参数列表，置于 ...
分类：
其他好文 时间：
2017-01-24 11:02:29
阅读次数：
209
参考原文：http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 运行文件有几个G大，默认的spark的内存设置就不行了，需要重新设置。还没有看Spark源码，只能先搜搜相关的博客解决问题 ...
分类：
其他好文 时间：
2016-12-17 20:11:34
阅读次数：
162
如何使用Intellij加载Spark源代码 转载注明原文http://www.cnblogs.com/shenh062326/p/6189643.html 查看Spark源代码或修改Spark源代码，都需要一个合适的IDE编辑器，而Spark源码编辑器首推Intellij， 但如果使用Intell ...
分类：
其他好文 时间：
2016-12-17 16:39:08
阅读次数：
104
要完整去学习spark源码是一件非常不容易的事情，但是咱可以积少成多嘛~那么，Spark Streaming是怎么搞的呢？ 本质上，SparkStreaming接收实时输入数据流并将它们按批次划分，然后交给Spark引擎处理生成按照批次划分的结果流： SparkStreaming提供了表示连续数据流 ...
分类：
其他好文 时间：
2016-12-10 18:31:38
阅读次数：
126
能有源码的辅助，加上自身的修炼，能起到很好的作用！ 对于初学者，不建议，一上来看源码。 下载 http://archive.apache.org/dist/spark/spark-1.6.1/ ...
分类：
其他好文 时间：
2016-12-03 09:52:44
阅读次数：
255
