Spark版本：1.1.1本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4137952.html
分类：
Web程序 时间：
2014-12-02 19:02:18
阅读次数：
137
Spark版本：1.1.1本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4137979.html
分类：
Web程序 时间：
2014-12-02 18:58:17
阅读次数：
163
Spark版本：1.1.1本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4137986.html
分类：
其他好文 时间：
2014-12-02 18:50:12
阅读次数：
166
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。? 1，动手实战Scala高阶函数 声明一个List集合实例： ? List集合所在的包已经被预定义自动导入，所以此处不需要导入包，同时，...
分类：
其他好文 时间：
2014-12-02 00:25:44
阅读次数：
173
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。1，动手实战Scala高阶函数声明一个List集合实例：List集合所在的包已经被预定义自动导入，所以此处不需要导入包，同时，这里直接使用List实例化对象，其实是用来List的object对象的apply方法；我们使用m...
分类：
其他好文 时间：
2014-12-02 00:01:29
阅读次数：
270
Spark版本：1.1.1本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4135808.html目录Web UI事件日志网络安全（配置端口）仅适用于Standalone模式的端口适用于所有集群管理器的通用端口 ...
分类：
Web程序 时间：
2014-12-01 20:42:53
阅读次数：
470
本文以Spark1.1.0版本为基础。 经过前一段时间的学习，基本上能够对Spark的工作流程有一个了解，但是具体的细节还是需要阅读源码，而且后续的科研过程中也肯定要修改源码的，所以最近开始Spark的源码的学习。首先以重要文件为基础分别分析，然后再整体的分析。（一）DAGScheduler....
分类：
其他好文 时间：
2014-12-01 14:16:48
阅读次数：
164
1. Spark Shell测试Spark Shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这一工具。Spark Shell使得用户可以和Spark集群进行交互，提交查询，这便于调试，也便于初学者使用Spark。测试案例...
分类：
其他好文 时间：
2014-12-01 12:50:02
阅读次数：
1631
Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n...
分类：
其他好文 时间：
2014-12-01 12:48:27
阅读次数：
304
本文主要关注ShuffledRDD的Shuffle Read是如何从其他的node上读取数据的。
上文讲到了获取如何获取的策略都在org.apache.spark.storage.BlockFetcherIterator.BasicBlockFetcherIterator#splitLocalRemoteBlocks中。可以见注释。...
分类：
其他好文 时间：
2014-11-30 18:47:14
阅读次数：
138
