1. Spark Shell测试Spark Shell是一个特别适合快速开发Spark原型程序的工具，可以帮助我们熟悉Scala语言。即使你对Scala不熟悉，仍然可以使用这一工具。Spark Shell使得用户可以和Spark集群进行交互，提交查询，这便于调试，也便于初学者使用Spark。测试案例...
分类：
其他好文 时间：
2014-12-01 12:50:02
阅读次数：
1631
Exception 1:当我们将任务提交给Spark Yarn集群时，大多会出现以下异常，如下：14/08/09 11:45:32 WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.n...
分类：
其他好文 时间：
2014-12-01 12:48:27
阅读次数：
304
本文主要关注ShuffledRDD的Shuffle Read是如何从其他的node上读取数据的。
上文讲到了获取如何获取的策略都在org.apache.spark.storage.BlockFetcherIterator.BasicBlockFetcherIterator#splitLocalRemoteBlocks中。可以见注释。...
分类：
其他好文 时间：
2014-11-30 18:47:14
阅读次数：
138
RDD详解RDD（Resilient Distributed Datasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。当然，RDD肯定不会这么简单，它的功能还包括容...
分类：
其他好文 时间：
2014-11-29 15:54:31
阅读次数：
252
5，动手实战Scala中的apply方法和单例对象? 新建一个类： 额外提一点，放在object对象中的方法都是静态方法，如下所示： 接下来看一下apply方法的使用： 上面代码总当我们使用“val?a?=?ApplyTest()”的使用会...
分类：
其他好文 时间：
2014-11-28 23:00:53
阅读次数：
400
一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting par.....
分类：
其他好文 时间：
2014-11-28 22:45:03
阅读次数：
285
5，动手实战Scala中的apply方法和单例对象 新建一个类：额外提一点，放在object对象中的方法都是静态方法，如下所示：接下来看一下apply方法的使用：上面代码总当我们使用“vala=ApplyTest()”的使用会导致apply方法的调用并返回该方法调用的值，也就是ApplyTest的实...
分类：
其他好文 时间：
2014-11-28 21:20:57
阅读次数：
242
3，动手实战Scala中的抽象类 ? 抽象类的定义需要使用abstract关键字： 上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理...
分类：
其他好文 时间：
2014-11-27 23:47:03
阅读次数：
428
3，动手实战Scala中的抽象类抽象类的定义需要使用abstract关键字：上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理了工程师写的代码；下面看一下抽象类中未被初始化的变量的使用：4，动手实战Sca...
分类：
其他好文 时间：
2014-11-27 23:25:46
阅读次数：
188
前言现今Spark正是风头正劲时，Spark本是UCBerkeley的AMPLab诞生的项目，后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理，到交互式查询，一直到图计算和机器学习，可谓摆开了架势、拉长了战线，一方面挑战老前辈Hadoop和MapReduce，另一方面又随时准备迎接同样的后起之秀的挑战。大数据的今天今天...
分类：
其他好文 时间：
2014-11-27 20:30:03
阅读次数：
251
