package com.bjsxt.spark.others.pvuv; import java.util.List; import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org. ...
分类：
其他好文 时间：
2018-06-18 11:50:11
阅读次数：
119
一：准备数据源 在项目下新建一个student.txt文件，里面的内容为： 二：实现 Java版： 1.首先新建一个student的Bean对象，实现序列化和toString()方法，具体代码如下： 2.转换，具体代码如下 scala版本： 注：1.上面代码全都已经测试通过，测试的环境为spark2 ...
分类：
编程语言 时间：
2018-06-12 14:49:13
阅读次数：
226
在spark中很多时候我们常常以为一个文件是会被完整读入到内存，然后做各种变换。其实并不是这样的，除非你主动对RDD进行Cache/Persist缓存操作。 举一个简单的例子： sc.textfile("test.txt").map().saveasTextfile(); 使用sc.textfile ...
分类：
其他好文 时间：
2018-06-09 23:20:56
阅读次数：
841
RDD是spark的核心，先感性的先认识RDD，大体上对RDD进行了分类操作 ...
分类：
其他好文 时间：
2018-06-08 23:19:30
阅读次数：
319
RDD 介绍 RDD，全称Resilient Distributed Datasets（弹性分布式数据集），是Spark最为核心的概念，是Spark对数据的抽象。RDD是分布式的元素集合，每个RDD只支持读操作，且每个RDD都被分为多个分区存储到集群的不同节点上。除此之外，RDD还允许用户显示的指定 ...
分类：
编程语言 时间：
2018-06-07 20:46:38
阅读次数：
334
下面是RDD的基础操作API介绍： 操作类型 函数名 作用 转化操作 map() 参数是函数，函数应用于RDD每一个元素，返回值是新的RDD flatMap() 参数是函数，函数应用于RDD每一个元素，将元素数据进行拆分，变成迭代器，返回值是新的RDD filter() 参数是函数，函数会过滤掉不符 ...
RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。 RDD包含很多分区，由一系列分区构成，一个分区构成一个逻辑分片 ...
分类：
其他好文 时间：
2018-06-06 22:08:33
阅读次数：
254
第一次写博客，新人上路，欢迎大家多多指教！！！ 分割线 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode Str ...
分类：
其他好文 时间：
2018-06-03 17:38:57
阅读次数：
387
RDD持久化 --------------- memory disk off-heap serial replication Memory_ONLY(true , false ,false , true ,1) 广播变量 --------------- driver端切成小块，存放到blockman... ...
分类：
数据库 时间：
2018-05-20 11:50:30
阅读次数：
298
withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 ...
分类：
其他好文 时间：
2018-05-18 13:58:58
阅读次数：
171
