项目背景： 本公司需要处理一份数据，这份数据有这样的特点，一行数据长度是1924个，一共有88个字段，且知道每个字段按顺序的长度。但是如果直接创建表的话也是行的，只不过写很复杂的正则表达式。而且效率方面可...
分类：
其他好文 时间：
2014-08-29 11:17:58
阅读次数：
286
装箱问题From admin描述 Description 有一个箱子容量为v(正整数，o≤v≤20000)，同时有n个物品(o≤n≤30)， 每个物品有一个体积 (正整数)。 要求从 n 个物品中，任取若干个装入箱内，使箱子的剩余空间为最小。输入格式 InputFormat第一行，一个...
分类：
其他好文 时间：
2014-08-10 23:49:00
阅读次数：
253
??
描述 Description
一个特别的单行街道在每公里处有一个汽车站。顾客根据他们乘坐汽车的公里使来付费。例如样例的第一行就是一个费用的单子。
没有一辆车子行驶超过10公里，一个顾客打算行驶n公里（1
输入格式 InputFormat
第一行十个整数分别表示行走1到10公里的费用（
第二行一个整数n...
分类：
其他好文 时间：
2014-07-30 14:47:43
阅读次数：
262
InputFormat这个类是用来处理Map的输入数据的，任务开始时，InputFormat先将HDFS里所有输入文件里的数据分割成逻辑上的InputSpilt对象
这里的split是HDFS中block的部分或者一整块或几个快中的数据的逻辑分割，一个split对应于一个Map，所以Map的数量是由split的数量决定的。
那么怎样去确定InputSpilt的个数呢，下面列出于split个...
分类：
其他好文 时间：
2014-07-25 11:03:11
阅读次数：
204
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
我们在MapReduce中TextInputFormat分片和读取分片数据源码级分析 这篇中以TextInputFormat为例讲解了InputFormat的分片过程以及RecordReader读取分片数据的过程。接下来咱们分析TableInputFormat的分片信息和数据读取过程。 Tab...
分类：
其他好文 时间：
2014-07-07 20:09:05
阅读次数：
260
线段问题描述 Description有N条线段，已知每条线段的起点和终点（50000以内），然后有M个询问，每次询问一个点（50000以内），求这个点在多少条线段上出现过？输入格式 InputFormat第一行N线段条数接下来N行，每行两个数，线段的起点和终点第N+2行一个数M询问个数接下来M行，每...
分类：
其他好文 时间：
2014-06-25 13:36:01
阅读次数：
200
InputFormat中的Splits集合的获取；InputFormat是一个接口，该接口有2个成员函数；InputSplit[]
getSplits(JobConf job, int numSplits) throws IOException;RecordReader
getRecordReade...
分类：
其他好文 时间：
2014-05-21 19:21:45
阅读次数：
234
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中，TextInputFormat是默认的实现，当你想要一次获取一行内容作为输入数据时又没有确定的键，从TextInputFormat返回的键为每行的字节偏移量，但目前没看到用过
以前在mapper中曾使用LongWritable（键）和Text（值），在TextInputFormat中，因为键是字节偏移量，可以是L...
分类：
移动开发 时间：
2014-05-15 01:31:37
阅读次数：
454
