码迷,mamicode.com
首页 > 其他好文 > 详细

MapReduce编程模型

时间:2020-03-07 00:12:42      阅读:69      评论:0      收藏:0      [点我收藏+]

标签:reducer   bsp   hdfs   内容   mapper   分布   重写   nbsp   需求   

MapReduce  基于HDFS

1.环境搭建起来    伪分布式
2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹
3.计算=>统计=>Mapper阶段=>Reduce阶段  MapReduce的编程模型
4.Mapper类 继承Mapper类 重写Mapper方法
5.Reduce类 继承Reducer类 重写Reduce方法
6.Driver类=Mapper+Reduce+HDFS    整合起来
7.打成一个jar包 上传到Linux上面
8.hadoop jar jar包 Driver类 把任务跑起来
9.MapReduce的开发 任务式开发 开发的一个个MapReduce程序 实际上就是一个个任务
10.只是针对各种任务 它的需求不同 总体来说WordCount程序是最精华的程序

 

 

Map阶段

 

Reduce阶段

 

MapReduce编程模型

标签:reducer   bsp   hdfs   内容   mapper   分布   重写   nbsp   需求   

原文地址:https://www.cnblogs.com/Tsugar/p/12431564.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!