本文主要讲对key的排序，主要利用hadoop的机制进行排序。
1、Partition
partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。
2、思路
由于每个partition内部是有序的，所以只要保证各partition间有序，即可保证全部有序。
3、问题
有了思路，如何定义partition的边界，这是个问题。
...
分类：
编程语言 时间：
2015-01-19 09:19:00
阅读次数：
195
spark内核揭秘-01-spark内核核心术语解析
spark内核揭秘-01-spark内核核心术语解析
spark内核揭秘-01-spark内核核心术语解析
spark内核揭秘-01-spark内核核心术语解析...
分类：
其他好文 时间：
2015-01-18 09:19:40
阅读次数：
175
Hadoop2.0源码包简介1、解压源码包：2、目录结构：hadoop-common-project：Hadoop基础库所在目录，如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。hadoop-mapreduce-project：MapReduce框架的实现，在第一代...
分类：
其他好文 时间：
2015-01-17 23:29:42
阅读次数：
261
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap...
分类：
其他好文 时间：
2015-01-17 22:01:48
阅读次数：
270
散仙在上篇文章中，介绍过如何使用Pig来进行词频统计，整个流程呢，也是非常简单，只有短短5行代码搞定，这是由于Pig的内置函数TOKENIZE这个UDF封装了单词分割的核心流程，当然，我们的需求是各种各样的，Pig的内置函数，仅仅解决了80%我们常用的功能，如果稍微我有一些特殊的..
分类：
其他好文 时间：
2015-01-17 06:39:09
阅读次数：
270
package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap...
分类：
其他好文 时间：
2015-01-17 06:22:03
阅读次数：
307
一开始运行Nutch 2.x 总是报下面这个错误：java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected这个问题足足折腾了2...
分类：
其他好文 时间：
2015-01-16 20:47:15
阅读次数：
1766
hadoop&spark mapreduce对比 & 框架设计和理解
hadoop&spark mapreduce对比 & 框架设计和理解
hadoop&spark mapreduce对比 & 框架设计和理解
hadoop&spark mapreduce对比 & 框架设计和理解...
分类：
其他好文 时间：
2015-01-16 16:51:26
阅读次数：
263
package com.bank.service;import java.io.IOException;import java.text.ParseException;import java.text.SimpleDateFormat;import org.apache.hadoop.conf.Co...
分类：
其他好文 时间：
2015-01-15 20:00:39
阅读次数：
204
