mongodb的MapReduce主要包含两个方法：map和reduce。举个例子，假设现在有下面3条记录{ "_id" : ObjectId("4e5ff893c0277826074ec533"), "x" : [ "a", "b" ] }{ "_id" : ObjectId("4e5ff893c...
分类：
数据库 时间：
2014-08-06 18:50:27
阅读次数：
516
详情可以参考《Mahout实战》的第六章代码：package mahout.wiki;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.Iterato...
分类：
其他好文 时间：
2014-08-06 18:37:01
阅读次数：
315
今天跟大家分享一下mongodb中比较好玩的知识，主要包括：聚合，游标。一： 聚合 常见的聚合操作跟sql server一样，有：count，distinct，group，mapReduce。 count count是最简单，最容易，也是最常用的聚合工具，它的使用跟我们C#里面的count...
分类：
数据库 时间：
2014-08-06 11:43:21
阅读次数：
257
今天使用http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html上的方式搭建一个基于Eclipse的mapreduce开发环境，在运行WordCount例子时出现错误，经过检查后才发现，装了hadoop2.0插件的Eclips.....
分类：
系统相关 时间：
2014-08-05 18:12:39
阅读次数：
229
MapReduce源码分析之MapTask详解的后半段文章。在分析过程中我们知道了MapTask是如何使用循环缓存区管理数据，知道了数据在缓存不下是如何做spill处理的，spill输出的数据格式，combiner如何处理，如何将多一个文件merge为一个等等。也希望通过阅读这部分源码能学习到部分设计思路，能在未来的设计中提供多一种思路。...
分类：
其他好文 时间：
2014-08-05 00:47:18
阅读次数：
484
yarn.resourcemanager.hostname hadoop100 yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop100 yarn.nodemanage...
分类：
其他好文 时间：
2014-08-04 13:58:07
阅读次数：
202
项目中需要用MapReduce来读取或者写Hbase，这样可以节省大量开发时间。Hbase本身的jar包里就有这样的API ， 以下是我从官网上找的一些资料，和大家分享一下。原文地址：http://hbase.apache.org/book/mapreduce.example.html总体说明一下：...
分类：
其他好文 时间：
2014-08-04 13:39:07
阅读次数：
211
这篇文章大致介绍Hadoop Job的程序是如何启动的。通常用Java编写的Hadoop MapReduce程序是通过一个main方法作为程序的整个入口，如下：public static void main(String[] args) throws Exception { int res ...
分类：
其他好文 时间：
2014-08-03 20:30:45
阅读次数：
307
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
MapReduce计算框架将计算过程分为两个阶段：Map和Reduce Map阶段并行处理输入数据； Reduce阶段对Map结果进行汇总Shuffle连接Map和Reduce两个阶段 Map Task将数据写到本地磁盘； Reduce Task从每个Map Task上读取一份数据；仅适合离...
分类：
其他好文 时间：
2014-08-03 15:12:25
阅读次数：
305
