005、Hadoop-MapReduce详解

标签：文件   数据   ad   网络   不同的   函数   hadoop   oo   map   

一、Map任务的执行过程

1. 读取文件的内容，解析成key、value对，对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数
2. 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出
3. 对输出的key,value进行分区
4. 对不同分区的数据，按照key进行排序分组，相同的key的value放在一起
5. 对分组后的数据进行归约

二、Reduce的执行过程

1. 对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点
2. 对多个map任务的输出进行合并，排序，写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出
3. 把reduce的输出保存到文件中

005、Hadoop-MapReduce详解

标签：文件   数据   ad   网络   不同的   函数   hadoop   oo   map   

原文地址：http://www.cnblogs.com/hiter-java/p/4134003.html