以IntWritable为例介绍，定制writable的步骤//WritableComparable接口继承了writable接口和comparable接口public class IntWritable implements WritableComparable {//定义普通java类型的成员变...
分类：
其他好文 时间：
2015-08-15 13:23:37
阅读次数：
124
排序可分为四种排序：
普通排序
部分排序
全局排序
二次排序（比如有两列数据，第一列相同时，需要对第二列进行排序。）
普通排序
普通排序是Mapreduce本身就自带排序功能；
Text对象是不适合排序的；IntWritable，LongWritable等实现了WritableComparable类型的对象都是可以排序的；
部分排序
map和reduce处理过程中默认包含了对ke...
分类：
编程语言 时间：
2015-06-16 16:44:10
阅读次数：
191
1.Hadoop数据类型如下图：
由上图的Writable层次结构图可以看到绝大多数的数据类型都实现了Writable、WritableComparable接口，在此先分析一下这两个接口情况。自顶下下逐步分析。
Writable接口的定义如下：
package org.apache.hadoop.io;
import java.io.DataOutput;
im...
分类：
其他好文 时间：
2015-05-14 08:42:15
阅读次数：
199
Hadoop Map/Reduce框架为每一个InputSplit产生一个map任务，而每个InputSplit是由该作业的InputFormat产生的。
然后，框架为这个任务的InputSplit中每个键值对调用一次 map(WritableComparable, Writable, OutputCollector, Reporter)操作。
通过调用 OutputCollector.col...
分类：
其他好文 时间：
2015-03-10 17:22:28
阅读次数：
216
有篇文章http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html中介绍的这个接口可以实现序列化，这个WritableComparable接口跟java中的java.io.Serializable接口有什么区别？http://a12...
分类：
其他好文 时间：
2015-02-06 16:26:37
阅读次数：
139
序列化是为了便于存储和网络传输序列化的几种方式实现java.io.Seriable接口json序列化的理解hadoop的WritableComparable接口实现序列化序列化比较好的参考文档如下：Java中的序列化http://www.cnblogs.com/snidget/archive/201...
分类：
其他好文 时间：
2015-02-06 16:22:13
阅读次数：
120
本文发表于本人博客。今天接着上次【Hadoop mapreduce自定义排序WritableComparable】文章写，按照顺序那么这次应该是讲解自定义分组如何实现，关于操作顺序在这里不多说了，需要了解的可以看看我在博客园的评论，现在开始。 首先我们查看下Job这个类，发现有setGrouping...
分类：
其他好文 时间：
2015-01-23 22:57:59
阅读次数：
258
本文发表于本人博客。今天继续写练习题，上次对分区稍微理解了一下，那根据那个步骤分区、排序、分组、规约来的话，今天应该是要写个排序有关的例子了，那好现在就开始！ 说到排序我们可以查看下hadoop源码里面的WordCount例子中对LongWritable类型定义，它实现抽象接口WritableCom...
分类：
编程语言 时间：
2014-12-26 14:35:39
阅读次数：
256
本文学习了Writable及WritableComparable接口，并结合IntWritable和Text类介绍了具体的实现，最后给出了一个自定义的WritableComparable类...
分类：
其他好文 时间：
2014-12-23 10:34:53
阅读次数：
206
1.定制Writable类型Hadoop中有一套Writable实现，例如：IntWritable、Text等，但是，有时候可能并不能满足自己的需求，这个时候，就需要自己定制Writable类型。定制分以下几步：需要实现WritableComparable接口，因为Writable常常作为健值对出现...
分类：
其他好文 时间：
2014-12-16 20:41:04
阅读次数：
201
