经常在写Rdd的时候， 如： val OWNER_ID=row.getAs("OWNER_ID") 等， 运行是可能会报异常 ： java.lang.String cannot be cast to scala.runtime.Nothing 后检查后发现，其实应该保证类型一致，应该写成： val ...
分类：
编程语言 时间：
2017-08-10 21:01:35
阅读次数：
417
1、如何创建一个分区为2的RDD： 创建一个RDD，分区为2，即对list进行并行化，并行度为2 或者启动10个map Task进行处理，对10个分区都进行map处理 2、将一个有两个分区的RDD收集起来 3、得到这个rdd的分区数 4、想要看每个分区结果 用glom，glom是将一个RDD的每一个 ...
分类：
其他好文 时间：
2017-08-10 01:21:49
阅读次数：
312
RDD渊源 弹性分布式数据集(RDD)。它是MapReduce模型一种简单的扩展和延伸。RDD为了实现迭代、交互性和流查询等功能，须要保证RDD具备在并行计算阶段之间能够高效地数据共享的功能特性。RDD运用高效的数据共享概念和相似于MapReduce的操作方式，使得全部的计算工作能够有效地运行，并能 ...
分类：
其他好文 时间：
2017-08-09 15:33:39
阅读次数：
165
spark中RDD、DataFrame、DataSet都是spark的数据集合抽象，RDD针对的是一个个对象,但是DF与DS中针对的是一个个Row RDD 优点: 编译时类型安全 编译时就能检查出类型错误 面向对象的编程风格 直接通过类名点的方式来操作数据 缺点: 序列化和反序列化的性能开销 无论是 ...
分类：
数据库 时间：
2017-08-09 00:14:59
阅读次数：
280
Spark开源的各模块组成结构： 1. Narrow dependency——窄依赖，子RDD依赖于父RDD中固定的data partition。 2. Stage——分为多个阶段进行作业。 3. Wide Dependency——宽依赖。子RDD对父RDD中的全部data partition依赖。 ...
分类：
其他好文 时间：
2017-08-08 12:38:45
阅读次数：
114
首先实现rdd缓存 准备了500M的数据 10份,每份 100万条,存在hdfs 中通过sc.textFile方法读取 val rdd1 = sc.textFile("hdfs://mini1:9000/spark/input/visitlog").cache 在启动spark集群模式时分配内存2g ...
分类：
其他好文 时间：
2017-08-08 12:19:38
阅读次数：
151
转载自:http://blog.csdn.net/wo334499/article/details/51689549 RDD 优点: 缺点: DataFrame DataFrame引入了schema和off-heap schema : RDD每一行的数据, 结构都是一样的. 这个结构就存储在sche ...
分类：
其他好文 时间：
2017-08-07 22:18:15
阅读次数：
273
转载自:http://smallx.me/2016/06/07/spark%E4%BD%BF%E7%94%A8%E6%80%BB%E7%BB%93/ 第一个Spark程序 关于RDD 弹性分布式数据集(RDD)是分布式处理的一个数据集的抽象，RDD是只读的，在RDD之上的操作都是并行的。实际上，RD ...
分类：
其他好文 时间：
2017-08-07 22:05:01
阅读次数：
230
实现代码如上，因为Statistics.corr（RDD[Double],RDD[Double]）,所以SparkSQL读取后的数据生成的dataFrame必须转换，第一步是转换成RDD[Row],Row就相当于sql查询出来的一条数据，这里也转换过多次才成功，最后百度得到可以先.cast(Doub ...
分类：
其他好文 时间：
2017-08-07 11:54:15
阅读次数：
650
