1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey、sortBy：将学生分数进行排序7、join：打印每个学生的成绩8、cogr... ...
分类：
其他好文 时间：
2017-07-28 19:24:39
阅读次数：
150
前言Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布式数据抽象为弹性分布式数据集..
分类：
其他好文 时间：
2017-07-07 19:56:19
阅读次数：
183
Transformation 和Action本质区别： Transformations是RDD到RDD; Actions是RDD到result。 Actions算子触发Spark job。 Spark groupbykey和cogroup使用示例 groupByKeygroupByKey([numT ...
分类：
其他好文 时间：
2017-07-04 00:00:22
阅读次数：
312
数据去重，key只输出一次 scala实现：先groupByKey(),然后SortByKey(),然后输出keys ...
分类：
其他好文 时间：
2017-06-03 11:16:29
阅读次数：
189
定义不带参数也不带返回值的函数（def :定义函数的关键字 printz:方法名称） scala> def printz = print("scala hello") 定义带参数也带返回值的函数（这种函数在定义时也可以不带返回值的类型，scala会自动推算出。建议还是带上） scala> def m ...
分类：
其他好文 时间：
2017-03-07 00:26:56
阅读次数：
441
摘要 1.使用reduceByKey/aggregateByKey替代groupByKey 2.使用mapPartitions替代普通map 3.使用foreachPartitions替代foreach 4.使用filter之后进行coalesce操作 5.使用rep... ...
分类：
其他好文 时间：
2017-03-03 23:47:42
阅读次数：
394
1.groupByKey的源代码 2.groupByKey的使用缺点 不使用groupByKey的主要原因：在大规模的数据下，数据分布不均匀的情况下，可能导致OOM 3.reduceByKey的源代码 4.使用reduceByKey的youdian 使用reduceByKey函数的主要原因是：red ...
分类：
其他好文 时间：
2017-02-12 15:56:33
阅读次数：
327
groupByKey,reduceByKey,sortByKey算子 视频教程： 1、优酷 2、 YouTube 1、groupByKey groupByKey是对每个key进行合并操作，但只生成一个sequence，groupByKey本身不能自定义操作函数。 java： python： 注意：当 ...
分类：
编程语言 时间：
2017-01-08 18:53:27
阅读次数：
335
一、概述程序运行环境很重要，本次测试基于：hadoop-2.6.5spark-1.6.2hbase-1.2.4zookeeper-3.4.6jdk-1.8废话不多说了，直接上需求Andycolumn=baseINFO:age,value=21Andycolumn=baseINFO:gender,value=0Andycolumn=baseINFO:telphone_number,value=110110110Tomcolumn=baseINFO..
分类：
其他好文 时间：
2016-12-14 02:46:55
阅读次数：
321
1、代码中尽量避免group by函数，如果需要数据聚合，group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0）,x) ...
分类：
其他好文 时间：
2016-11-14 07:45:30
阅读次数：
462
