不写，默认是下面的转换类 job.setInputFormatClass(TextInputFormat.class) List<InputSplit> InputFormat.getSplits首先对输入的数据做切分，切分后的split书面决定map的任务数； RecordReader<K,V> InputForma...
分类：
其他好文 时间：
2014-12-22 11:23:25
阅读次数：
208
前言：在具体执行Hadoop程序的时候，我们要根据不同的情况来设置Map的个数。除了设置固定的每个节点上可运行的最大map个数外，我们还需要控制真正执行Map操作的任务个数。 ?1.如何控制实际运行的map任务个数 ?我...
分类：
其他好文 时间：
2014-12-05 17:38:14
阅读次数：
163
上一篇分析了split的生成，现在接着来说具体的split具体内容及其相关的文件和类。以FileSplit(mapred包下org/apache/hadoop/mapreduce/lib/input/FileSplit.java)为例，它继承了InputSplit接口，包括以下属性：1 publ.....
分类：
其他好文 时间：
2014-11-26 18:17:27
阅读次数：
270
输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat....
分类：
其他好文 时间：
2014-11-07 23:28:43
阅读次数：
364
Mapper的处理过程：1.1. InputFormat 产生 InputSplit，并且调用RecordReader将这些逻辑单元（InputSplit）转化为map task的输入。其中InputSplit是map task处理的最小输入单元的逻辑表示。1.2. 在客户端代码中调用Job类来设置...
分类：
移动开发 时间：
2014-11-07 20:35:57
阅读次数：
188
准备知识：1.在InputFormat<k,v>这个接口中，有两个方法，InputSplit[]getSplits();RecordReader<k,v>getRecordReader();2.mapreduce作业提交与初始化过程。作业提交：（1）命令行提交。。。。（2）获取作业ID,创建HDFS目录（你指定的存放结果的目录）上传文件到HD..
分类：
其他好文 时间：
2014-09-16 19:08:21
阅读次数：
231
public class FileSplit extends InputSplit implements Writable { private Path file; private long start; private long length; private String[] hosts; pu...
分类：
其他好文 时间：
2014-07-16 18:32:45
阅读次数：
236
InputFormat中的Splits集合的获取；InputFormat是一个接口，该接口有2个成员函数；InputSplit[]
getSplits(JobConf job, int numSplits) throws IOException;RecordReader
getRecordReade...
分类：
其他好文 时间：
2014-05-21 19:21:45
阅读次数：
234
MapTask运行通过执行.run方法：
1.生成TaskAttemptContextImpl实例，此实例中的Configuration就是job本身。
2.得到用户定义的Mapper实现类，也就是map函数的类。
3.得到InputFormat实现类。
4.得到当前task对应的InputSplit.
5.通过InputFormat,得到对应的RecordReader。
6.生成Re...
分类：
其他好文 时间：
2014-05-14 14:31:59
阅读次数：
381
