RDD简介 在Spark集群背后，有一个非常重要的分布式数据架构，即弹性分布式数据集（Resilient Distributed DataSet，RDD），它是逻辑集中的实体，在集群中的多台集群上进行数据分区。通过对多台机器上不同RDD分区的控制，能够减少机器之间的数据重排（Data Shuffle...
分类：
其他好文 时间：
2015-09-14 00:30:20
阅读次数：
253
Spark中的shuffle大概是这么个过程：map端把map输出写成本地文件，reduce端去读取这些文件，然后执行reduce操作。那么，问题来了：reducer是怎么知道它的输入在哪呢？首先，mapper在写完文件之后，肯定能提供与它的输出相关的信息。这个信息，在Spark中由MapStatu...
分类：
其他好文 时间：
2015-09-13 09:20:17
阅读次数：
193
Shuffle是一个比较复杂的过程，有必要详细剖析一下内部写的逻辑
ShuffleManager分为SortShuffleManager和HashShuffleManager
一、SortShuffleManager
每个ShuffleMapTask不会为每个Reducer生成一个单独的文件；相反，它会将所有的结果写到一个本地文件里，同时会生成一个index文件，Reducer可以通过这个index文件取得它需要处理的数据。避免产生大量的文件的直接收益就是节省了内存的使用和顺序Disk IO带来的低延时。
...
分类：
其他好文 时间：
2015-09-12 09:37:25
阅读次数：
197
shuffle它是在map和reduce过程之间。我们看看在这个过程中的步骤，了解在这个问题上不深，有可能是一个错误。忘记修正1. mapmap出口key,value，里的context.write(key, value);。这个步骤是将key，value写到内存buffer里了，这个内存的默认大小...
分类：
其他好文 时间：
2015-09-11 14:08:49
阅读次数：
107
Spark中的shuffle是在干嘛？Shuffle在Spark中即是把父RDD中的KV对按照Key重新分区，从而得到一个新的RDD。也就是说原本同属于父RDD同一个分区的数据需要进入到子RDD的不同的分区。但这只是shuffle的过程，却不是shuffle的原因。为何需要shuffle呢？Shuf...
分类：
其他好文 时间：
2015-09-11 14:03:48
阅读次数：
252
现在来做一个文字上的游戏，给你一句话，把这句话中除了第一个字符和最后一个字符不要动之外，其内部的字符可以随机排队列。这个游戏采用正则表达式来做，就比较简单了。例子：import random
text = '把深圳建设成为全球软件中心 这是新的开始'
def repl(m):
inner_word = list(m.group(2))
random.shuffle(inne...
分类：
其他好文 时间：
2015-09-11 09:16:37
阅读次数：
153
Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环 节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的...
分类：
其他好文 时间：
2015-09-09 16:25:42
阅读次数：
298
Map、Reduce任务中Shuffle和排序的过程同样贴出我在visio中画出的流程示意图：流程分析：Map端：1．每个输入分片会让一个map任务来处理，默认情况下，以HDFS的一个块的大小（默认为64M）为一个分片，当然我们也可以设置块的大小。map输出的结果会暂且放在一个环形内存缓冲区中（该缓...
分类：
编程语言 时间：
2015-08-28 17:09:40
阅读次数：
754
此文承接Job流程：Mapper类分析.MapReduce为确保每个reducer的输入都按键排序，数据从map输出到reducer输入的这段过程成为Shuffle。map端1).Spill溢写. 每个map()方法都将处理结果输出到一个环形内存缓冲区buf(100MB)中(mapreduce.ta...
分类：
其他好文 时间：
2015-08-27 12:59:22
阅读次数：
311
题目链接：Shuffle'm Up
题意：有a和b两个长度为n的字符序列，现定义操作：
将a、b的字符交叉合并到一个序列c，再将c最上面的n个归为a，最下面n个归为b
给出a，b和目标序列c，问最少多少次操作a、b转化为c
解析：将a、b放入哈希表，然后模拟操作过程直接dfs即可。
AC代码：
#include
#include
#include
...
分类：
其他好文 时间：
2015-08-25 23:57:10
阅读次数：
424
