本章主要介绍了 MapReduce 的开发原理及应用场景，讲解如何利用 Combine、Partitioner、WritableComparable、WritableComparator 等组件对数据进行排序筛选聚合分组的功能。利用例子模仿 SQL 关系数据库进行SELECT、WHERE、GROUP... ...
分类：
其他好文 时间：
2018-08-16 13:51:41
阅读次数：
201
1.WritableComparable用途： WritableComparable可以相互比较，通常通过Comparators(比较器)进行比较。 在Hadoop Map-Reduce框架中用作键的任何类型都应该实现这个接口,因为要按键做排序； 2.WritableComparable和Writa ...
分类：
其他好文 时间：
2018-07-28 13:50:32
阅读次数：
128
首先需要明确的是，hadoop里的key一定要是可排序的，要么key自身实现了WritableComparator接口，要么有一个排序类可以对key进行排序。如果key本身不实现WritableComparator接口，而是由另外的一个工具类（实现RawComparator接口）来提供排序的话，需要 ...
分类：
编程语言 时间：
2018-01-28 23:20:34
阅读次数：
189
本篇文章结合源代码学习了RawComparator接口及其实现，并分析了不同实现的区别...
分类：
其他好文 时间：
2014-12-19 15:48:48
阅读次数：
171
在前面的博文《Hadoop中WritableComparable 和 comparator》中，对于WritableComparator说的不够细致，下面说说具体的实现原理！1.WritableComparator主要提供了两个功能：提供了对原始compara()方法的一个默认实现，默认实现是先反序...
分类：
其他好文 时间：
2014-12-16 14:52:40
阅读次数：
148
