引言 MapReduce作出保证：进入每个Reducer的数据行都是有序的（根据数据行的键值进行排序）。MapReduce将Mapper的输出进行排序并传递给Reducer作为输入的过程称为Shuffle。在很多场景下，Shuffle是整个MapReduce过程的核心，也是“奇迹”发生的地方，如下图...
分类：
其他好文 时间：
2014-12-22 22:34:02
阅读次数：
1516
引言MapReduce作出保证：进入每个Reducer的数据行都是有序的（根据数据行的键值进行排序）。MapReduce将Mapper的输出进行排序并传递给Reducer作为输入的过程称为Shuffle。在很多场景下，Shuffle是整个MapReduce过程的核心，也是“奇迹”发生的地方，如下图所...
分类：
其他好文 时间：
2014-12-22 17:36:53
阅读次数：
189
Partition的中文意思就是分区，分片的意思，这个阶段也是整个MapReduce过程的第三个阶段，就在Map任务的后面，他的作用就是使key分到通过一定的分区算法，分到固定的区域中，给不同的Reduce做处理，达到负载均衡的目的。他的执行过程其实就是发生在上篇文章提到的collect的过程阶段，当输入的key调用了用户的map函数时，中间结果就会被分区了。虽说这个过程看似不是很重要，但是也有值...
分类：
其他好文 时间：
2014-11-16 17:25:40
阅读次数：
235
MapReduce架构与生命周期
概述：MapReduce是hadoop的核心组件之一，可以通过MapReduce很容易在hadoop平台上进行分布式的计算编程。本文组织结果如下：首先对MapReduce架构和基本原理进行概述，其次对整个MapReduce过程的生命周期进行详细讨论。 参考文献：董西...
分类：
其他好文 时间：
2014-10-30 20:51:39
阅读次数：
315
准备知识：1.在InputFormat<k,v>这个接口中，有两个方法，InputSplit[]getSplits();RecordReader<k,v>getRecordReader();2.mapreduce作业提交与初始化过程。作业提交：（1）命令行提交。。。。（2）获取作业ID,创建HDFS目录（你指定的存放结果的目录）上传文件到HD..
分类：
其他好文 时间：
2014-09-16 19:08:21
阅读次数：
231
Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：/** Use {@link Object#hashCode()} to partition. */
p...
分类：
其他好文 时间：
2014-07-17 15:06:56
阅读次数：
315
hadoop 1.0 mapreduce过程主要问题：JobTracker 是 Map-reduce 的集中处理点，存在单点故障。JobTracker 完成了太多的任务，造成了过多的资源消耗，当 map-reduce job 非常多的时候，会造成很大的内存开销，潜在来说，也增加了 JobTracke...
分类：
其他好文 时间：
2014-06-18 20:00:19
阅读次数：
377
本文以康哥的博客为基础进行修改和补充，详见：http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop
mapreduce 过程粗略的分为两个阶段： 1.map; 2.redurce(copy, sor...
分类：
其他好文 时间：
2014-05-02 00:06:57
阅读次数：
553
