0.parallelize 1.map 2.mapValues 3.flatMap 4.mapPartitions 5.mapPartitionsWithIndex 6.filter 7.reduce 8.reduceByKey 9.groupBy 10.groupByKey 11.partitio ...
分类：
其他好文 时间：
2016-11-07 01:38:03
阅读次数：
293
摘要 1.使用reduceByKey/aggregateByKey替代groupByKey 2.使用mapPartitions替代普通map 3.使用foreachPartitions替代foreach 4.使用filter之后进行coalesce操作 5.使用rep... ...
分类：
其他好文 时间：
2016-11-04 01:28:16
阅读次数：
306
一、Spark Streaming 1. 什么是Spark Shuffle Wide Dependencies *ByKey： groupByKey,reduceByKey 关联操作：join，cogroup 窄依赖： 父RDD的每个分区的数据，仅仅只会给子RDD的一个分区。 Spark性能优化： ...
分类：
其他好文 时间：
2016-10-22 14:31:48
阅读次数：
270
典型的transformation和action ...
分类：
其他好文 时间：
2016-09-27 19:38:14
阅读次数：
152
1. 初始化Spark 2. 创建RDD的方法 内存：Parallelize 或者 makeRDD 外部文件：textFile 3. 键值对 下面两者等价： reduceByKey 和sortByKey、groupByKey 1）返回key 以及 每个key的个数 （key, cnt) 2）返回 ( ...
分类：
其他好文 时间：
2016-09-13 11:39:22
阅读次数：
147
【译】避免使用GroupByKey Scala Spark 技术 Scala Spark Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文 让我们来看两个wordcount的例子，一个使用了reduceByKey，而另一个使用groupByKey: 12 ...
分类：
其他好文 时间：
2016-08-28 22:21:51
阅读次数：
146
val counts = pairs.reduceByKey(_ + _) val counts = pairs.groupByKey().map(wordCounts => (wordCounts._1, wordCounts._2.sum)) 如果能用reduceByKey，那就用reduceB ...
分类：
其他好文 时间：
2016-07-13 20:25:58
阅读次数：
144
内容：1、map、filter、flatmap等操作回顾；2、reduceBykey、groupBykey；3、jion、cogroug；算子共同特点：都是最常用的算子，构建复杂算法的基石，都是lazy级别的，不属于action创建SparkContext是Spark的起点，只有创建SparkContext，才能创建RDD==========map============..
分类：
其他好文 时间：
2016-02-08 17:31:39
阅读次数：
311
大数据体系结构:Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布...
分类：
其他好文 时间：
2016-01-20 22:37:54
阅读次数：
485
最近在一个项目中做数据的分类存储，在spark中使用groupByKey后存入HBase，发现数据出现双份（ 所有记录的 rowKey 是随机 唯一的 ） 。经过不断的测试，发现是spark的运行参数配置的问题：spark.speculation=true， 将其改为false，问题就解决了。哎.....
分类：
其他好文 时间：
2016-01-08 20:03:11
阅读次数：
190
