1、reduce（func） 通过func函数聚集RDD 中的所有元素， 先聚合分区内数据，再聚合分区间数据。 2、collect 以 的形式返回 RDD 中的所有元素. 所以要慎用 3、count 返回 RDD 中元素的个数. 4、take（n） 返回 RDD 中 组成的 . take 的数据也会 ...
分类：
其他好文 时间：
2019-12-16 12:54:02
阅读次数：
74
1、 map(func) 作用 : 返回一个新的 RDD, 该 RDD 是由原 RDD 的每个元素经过函数转换后的值而组成. 就是对 RDD 中的数据做转换. 创建一个包含1 10的的 RDD，然后将每个元素 2形成新的 RDD 2、mapPartitions(func) 作用 : 类似于map(f ...
分类：
其他好文 时间：
2019-12-15 20:28:24
阅读次数：
96
1、union（otherDataSet） 作用 ： . 对源 RDD 和参数 RDD 求并集后返回一个新的 RDD 2、subtract（otherDataSet） 作用: 从原 RDD 中减去 原 RDD 和otherDataset 中的共同的部分. 3、intersection（otherDa ...
分类：
其他好文 时间：
2019-12-15 20:02:10
阅读次数：
81
scala> val rdd1 = sc.parallelize(List(63,45,89,23,144,777,888))rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :15查看该... ...
分类：
其他好文 时间：
2019-12-15 01:05:06
阅读次数：
98
进阶算子： import org.apache.spark.rdd.RDD import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} /** * 进阶算子 */ object FunctionDemo2 { def main ...
分类：
其他好文 时间：
2019-12-12 18:03:32
阅读次数：
79
val rdd = sc.parallelize(List(1,2,3,4,5,6),第二参数)这里的第二参数 获取方式有两种:1.直接给定值,根据传入的值决定分区的数量2.根据运行环境获取分区数量(core) -->例如 本地运行 设置为local 此时设置分区值默认分区就是1个 val rdd ...
分类：
其他好文 时间：
2019-12-12 17:57:37
阅读次数：
190
import org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext} object Transformation { def main(args: Array[String]): U ...
分类：
其他好文 时间：
2019-12-10 22:41:03
阅读次数：
147
val rdd= sc.parallelize(List(("tom",1),("jerry",3),("kitty",2),("tom",2))) //1.根据传入的参数进行分组 val rdd1:RDD[(String, Iterable[(String, Int)])] =rdd.groupB ...
分类：
其他好文 时间：
2019-12-10 19:45:36
阅读次数：
110
1.自定义 schema（Rdd[Row] => DataSet[Row]) 2.借助 case class 隐式转换（Rdd[Person] => DataSet[Row]) 3.直接从数据源创建 此外 233 ...
分类：
其他好文 时间：
2019-12-07 16:18:20
阅读次数：
620
背景 项目有表格功能，表格过大，一个一个填，过于麻烦。 需要从excel表复制的功能。 过程 监听paste事件，根据事件提供的clipboardData属性，获取数据。 根据换行符 \n 和tab符 \t ,处理数据，获得二维数组。 代码 1 this.$refs.commonSizeTable. ...
分类：
Web程序 时间：
2019-12-07 14:33:36
阅读次数：
178
