MultipleOutputs 类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个 reducer（或者只有 map 作业的 mapper）创建多个文件。 采用name-m-nnnnn 形式的文件名用于 map 输出，name-r-nnnnn 形式的文件名用于 red ...
分类：
其他好文 时间：
2016-05-02 21:08:31
阅读次数：
468
package org.lukey.hadoop.muloutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;impor...
分类：
其他好文 时间：
2015-11-02 00:14:21
阅读次数：
248
本例子采用hadoop1.1.2版本采用气象数据作为处理数据1、MultipleOutputs例子，具体解释在代码中有注释packageStationPatitioner;
importjava.io.IOException;
importjava.util.Iterator;
importorg.apache.hadoop.conf.Configured;
importorg.apache.hadoop.fs.Path;
importo..
分类：
其他好文 时间：
2015-04-28 00:02:16
阅读次数：
374
MultiPleOutputs原理
MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR
job运行之后，用脚本对目录下的数据...
分类：
其他好文 时间：
2015-03-30 18:53:36
阅读次数：
172
如题：出现下图中的情况（设置reduceNum=5）感觉很奇怪，排除了很久，终于发现是一个第二次犯的错误：丢了这句this.mOutputs.close();加上这句，一切恢复正常！
分类：
其他好文 时间：
2015-03-11 16:32:44
阅读次数：
185
TextOutputFormat 默认输出字符串输出格式；SequenceFileOutputFormat 序列化文件输出；MultipleOutputs 可以把输出数据输送到不同的目录；下面我们以分析FileOutputFormat为例，得到一些启迪，来满足我们的某些需要，如修改keyvalue的...
分类：
其他好文 时间：
2015-02-22 21:51:23
阅读次数：
329
对于上一篇hadoop mapreduce 多文件输出，有一些地方介绍的不准确，这里做个续简单更正一下，同时正好解决了上一篇的不能多文件夹输出的问题 ? ? 1、针对于上一篇代码中的?MultipleOutputs.addNamedOut...
用户在使用Mapreduce时默认以part-＊命名，M...
分类：
其他好文 时间：
2014-10-14 14:50:08
阅读次数：
241
有了前面的MultipleOutputs的使用经验，就可以将HDFS输入目录的路径解析出来，组成输出路径，这在业务上是十分常用的。这样其实是没有多文件名输出，仅仅是调用了MultipleOutputs的addNamedOutput方法一次，设置文件名为result.先看pom.xml， 现在参数只有一个输入目录了，输出目录会在该路径后面自动加上/output.<project xmlns="htt...
分类：
其他好文 时间：
2014-10-03 00:03:53
阅读次数：
393
在前面的例子中，输出文件名是默认的：_logs part-r-00001 part-r-00003 part-r-00005 part-r-00007 part-r-00009 part-r-00011 part-r-00013 _SUCCESS
part-r-00000 part-r-00002 part-r-00004 part-r-00006 part-...
分类：
其他好文 时间：
2014-10-02 20:41:53
阅读次数：
261
