hadoop中的方法的作用

标签：

/*
 * InputFormat类；
 * 
 * 作用：
 * 1.设置输入的形式;
 * 2.将输入的数据按照相应的形式分割成一个个spilts后再进一步拆分成<key,value>对作为Mapper的输入；
 * 3.默认使用TextInputFormat类进行处理;
 * 4.可以通过job.setInputFormatClass()方法进行设置;
 * 
 * */

/*
 * Mapper类 
 * 
 * 作用：
 * 1.接受MapReduce框架处理后的<key,value>对;
 * 2.并且通过实现map()方法，转化为中间结果的<key,value>对；
 * 3.可以通过job.setMapperClass()进行设置;
 * 
 **/

/*******Combiner类*****/
/*
 * 作用:
 * 1.实现combine()方法，合并中间结果中具有相同key值的键值对;
 * 2.可以通过job.setCombinerClass()进行设置;
 * 
 * */

/*
 * Partitioner类
 * 
 * 作用:
 * 1.用于在Shuffle过程中按照key值将中间数据分解成R份,每一份由一个Reducer负责处理;
 * 2.默认采用哈希函数完成Shuffle过程;
 * 3.可以通过job.setPartitionerClass()设置;
 * 
 */

/*
 * Reducer类
 * 
 * 作用：
 * 1.实现reduce()方法
 * 2.将中间结果合并，得到最终结果;
 * 3.可以通过job.setReducerClass()设置; 
 */

/*
 * OutputFormat类
 * 
 * 作用：设置Reducer过程输出最终结果键值对的类型;
 */

/********OutputFormatClass类****************/
/*
 * 作用:设置输出的结果的形式;
 * 
 * */

分享至：http://bbs.csdn.net/topics/390536510

hadoop中的方法的作用

标签：

原文地址：http://www.cnblogs.com/JimLy-BUG/p/5153771.html