从《Hadoop权威指南》选取了一个小案例，在Hadoop集群环境中运行。1、新建JAVA类，保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类：
其他好文 时间：
2014-05-14 03:52:36
阅读次数：
457
简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中，我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类：
其他好文 时间：
2014-05-14 00:55:11
阅读次数：
294
综合查询(6)--不同基准模块下的条件
有了基准模块，又产生了一个问题，你设置查询条件的作用对象可能会随着基准模块的不同而改变。举个例子，当你查询“订单明细”的时候，选择了若干个商品作为查询条件，当基准模块是“订单明细”的时候，一切都没问题，满足你选择的商品的条件才会加到结果集中。但是这时候，你把基准模块改成了“订单”，那么这些商品的查询条件就要应用到聚合字段之中...
分类：
其他好文 时间：
2014-05-13 09:30:12
阅读次数：
243
Iterator模式定义:
提供一个方法顺序访问一个聚合对象的各个元素，而又不暴露该对象的内部表示。
这个模式在java的类库中已经实现了，在java中所有的集合类都实现了Conllection接口，而Conllection接口又继承了Iterable接口，该接口有一个iterator方法，也就是所以的集合类都可以通过这个iterator方法来转换成Iterator类，用Ite...
分类：
其他好文 时间：
2014-05-13 09:11:43
阅读次数：
288
摘要：关于地图的显示，我想大家最关心的就是麻点图，自定义底图的解决方案了吧。在过去，marker大于500之后，浏览器开始逐渐卡死，大家都开始寻找解决方案，比如聚合marker啊，比如麻点图埃聚合marker里面还有一些复杂的算法，而麻点图，最让大家头疼的，就是如何生成麻点图，..
一、概述本文将粗略讲述一下Hash算法的概念特性，里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类：
其他好文 时间：
2014-05-13 01:34:11
阅读次数：
421
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页：http://ant.apache.org/下载二进制安装包，例如apache-ant-1.9.4-bin.tar.gz，上传到Hadoop集群环...
分类：
其他好文 时间：
2014-05-12 20:44:36
阅读次数：
398
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.IntWritable;import...
分类：
其他好文 时间：
2014-05-12 19:55:27
阅读次数：
326
mapreduce
job提交流程源码级分析（二）（原创）这篇文章说到了jobSubmitClient.submitJob(jobId,
submitJobDir.toString(),
jobCopy.getCredentials())提交job，最终调用的是JobTracker.submit.....
分类：
其他好文 时间：
2014-05-11 16:32:10
阅读次数：
289
Hadoop集群（第9期）_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类：
其他好文 时间：
2014-05-11 16:02:24
阅读次数：
538
