RDD详解RDD（Resilient Distributed Datasets弹性分布式数据集），是spark中最重要的概念，可以简单的把RDD理解成一个提供了许多操作接口的数据集合，和一般数据集不同的是，其实际数据分布存储于一批机器中（内存或磁盘中）。当然，RDD肯定不会这么简单，它的功能还包括容...
分类：
其他好文 时间：
2014-11-29 15:54:31
阅读次数：
252
5，动手实战Scala中的apply方法和单例对象? 新建一个类： 额外提一点，放在object对象中的方法都是静态方法，如下所示： 接下来看一下apply方法的使用： 上面代码总当我们使用“val?a?=?ApplyTest()”的使用会...
分类：
其他好文 时间：
2014-11-28 23:00:53
阅读次数：
400
一、问题 使用spark join两张表（5000w*500w）总是出错，报的异常显示是在shuffle阶段。14/11/27 12:05:49 ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting par.....
分类：
其他好文 时间：
2014-11-28 22:45:03
阅读次数：
285
5，动手实战Scala中的apply方法和单例对象 新建一个类：额外提一点，放在object对象中的方法都是静态方法，如下所示：接下来看一下apply方法的使用：上面代码总当我们使用“vala=ApplyTest()”的使用会导致apply方法的调用并返回该方法调用的值，也就是ApplyTest的实...
分类：
其他好文 时间：
2014-11-28 21:20:57
阅读次数：
242
3，动手实战Scala中的抽象类 ? 抽象类的定义需要使用abstract关键字： 上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理...
分类：
其他好文 时间：
2014-11-27 23:47:03
阅读次数：
428
3，动手实战Scala中的抽象类抽象类的定义需要使用abstract关键字：上面的代码定义并实现了抽象方法，需要注意的是我们把直接运行的代码放在了App这个trait的子类中，关于App内部帮助我们实现了main方法并管理了工程师写的代码；下面看一下抽象类中未被初始化的变量的使用：4，动手实战Sca...
分类：
其他好文 时间：
2014-11-27 23:25:46
阅读次数：
188
前言现今Spark正是风头正劲时，Spark本是UCBerkeley的AMPLab诞生的项目，后来捐赠给了Apache来管理源码和后续发展。今年从Apache孵化器终于孵化出了1.0版本。其对大数据的支持从内存计算和流处理，到交互式查询，一直到图计算和机器学习，可谓摆开了架势、拉长了战线，一方面挑战老前辈Hadoop和MapReduce，另一方面又随时准备迎接同样的后起之秀的挑战。大数据的今天今天...
分类：
其他好文 时间：
2014-11-27 20:30:03
阅读次数：
251
UCBerkeley研发的Tachyon(超光子['tæki???n]，名字要不要这么太嚣张啊：)是一款为各种集群并发计算框架提供内存数据管理的平台，也可以说是一种内存式的文件系统吧。如下图，它就处于这样一个层次：在现有存储系统如HDFS之上，在Spark，MapReduce，Impala等各种计算框架之下。为什么要有这么一个框架呢？MapReduce就不说了，但像Spark这种内存计算框架，为什...
分类：
其他好文 时间：
2014-11-27 20:29:10
阅读次数：
287
Spark累加器使用
使用spark累加器，解决视频平均播放数计算，以及视频播放数平方和平均值
val totalTimes=sc.accumulator(0l)
val totalVids=sc.accumulator(0)
val totalPow2Times=sc.accumulator(0d)
val timesFile=sc.textFile("/user/zheny...
分类：
其他好文 时间：
2014-11-27 18:24:55
阅读次数：
192
1、代码编写if (args.length != 3 ){ println("usage is org.test.WordCount ") return } val sc = new SparkContext(args(0), "WordCount", System.getenv("S...
分类：
系统相关 时间：
2014-11-27 12:38:19
阅读次数：
224
