如果单从概念上来说，Mapreduce和R中的函数lapply, tapply并无差别，它们都是把元素转化成列，然后计算索引（Mapreduce中的键），最后合并成一个定义好的组合。首先，让我们看一个简单的lappy的例子。small.ints = 1:1000sapply(small.ints, ...
分类：
其他好文 时间：
2014-07-10 11:00:32
阅读次数：
174
mongoDB是一种强大、灵活。可拓展的数据存储方式。他扩展了关系数据库的众多功能，如辅助索引、范围查询、排序。mongodb的功能非常的丰富，比如比如内置的对mapreduce式聚合的支持，以及对地理空间索引的支持。一、优点（1）丰富的数据类型（2）容易拓展（3）丰富的功能（4）不牺牲速度（5）简...
分类：
数据库 时间：
2014-07-09 23:58:30
阅读次数：
368
InputFormat主要用于描述输入数据的格式(我们只分析新API，即org.apache.hadoop.mapreduce.lib.input.InputFormat)，提供以下两个功能： (1)数据切分：按照某个策略将输入数据切分成若干个split，以便确定MapTask个数以及对应的s...
分类：
其他好文 时间：
2014-07-09 23:49:37
阅读次数：
487
我们在MapReduce中TextInputFormat分片和读取分片数据源码级分析 这篇中以TextInputFormat为例讲解了InputFormat的分片过程以及RecordReader读取分片数据的过程。接下来咱们分析TableInputFormat的分片信息和数据读取过程。 Tab...
分类：
其他好文 时间：
2014-07-07 20:09:05
阅读次数：
260
欢迎转载，转载请注明出处，徽沪一郎。楔子Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析。由于这一特性而收到广泛的欢迎。Hive的整体框架中有一个重要的模块是执行模块...
分类：
其他好文 时间：
2014-07-07 14:17:47
阅读次数：
295
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基...
分类：
其他好文 时间：
2014-07-01 00:21:41
阅读次数：
320
这篇文章是看了HBase权威指南之后，根据上面的讲解搬下来的例子，这篇文章将讲解两个例子，和HBase权威指南稍微有些不一样。
1、读取存储在hdfs上的txt文本数据，简单地以json字符串的形式写入到HBase表中。
2、将第一步存储的HBase表中的json字符串读取出来，解析存储到新的HBase表中，可以进行查询。
本文详细给出了源码以及如何运行，旨在加深HBase与mapreduc...
分类：
其他好文 时间：
2014-06-29 23:21:21
阅读次数：
340
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的.....
分类：
其他好文 时间：
2014-06-29 19:20:17
阅读次数：
252
package com.leaf.hadoop.second;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hado...
分类：
其他好文 时间：
2014-06-27 10:00:17
阅读次数：
294
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
