定义 非关系型分布式列式数据库,支持大数据量查询（百万,上亿行） 概要 数据存储：HDFS 数据计算：MapReduce/Spark 服务协调：Zookeeper 特征 列式存储（列只有一种类型byte[]） 分布式 大数据存储（百万,上亿行; 上万列） 伸缩性,扩展性（列根据业务随意添加） 随机快 ...
分类：
其他好文 时间：
2018-11-23 20:40:22
阅读次数：
148
第5章 高级MapReduce技术 5.1 初级、高级还是中级 5.2 多数据源联结 5.2.1 不适合执行联结操作的情况 5.2.2 map端联结与reduce端联结的对比 5.2.3 匹配账户与销售信息 5.3 实践环节：使用MultipleInputs实现reduce端联结 5.3.1 实现m... ...
分类：
其他好文 时间：
2018-11-23 16:48:25
阅读次数：
170
第4章 开发MapReduce程序 4.1 使用非Java语言操作Hadoop 4.1.1 Hadoop Streaming工作原理 4.1.2 使用Hadoop Streaming的原因 4.2 实践环节：使用Streaming实现Word-Count 4.3 分析大数据集 4.3.1 获取UFO... ...
分类：
其他好文 时间：
2018-11-23 16:48:06
阅读次数：
170
第3章 理解MapReduce 3.1 键值对 3.1.1 具体含义 3.1.2 为什么采用键/值数据 3.1.3 MapReduce作为一系列键/值变换 3.2 MapReduce的Hadoop Java API 3.3 编写MapReduce程序 3.4 实践环节：设置classpath 3.5... ...
分类：
其他好文 时间：
2018-11-23 16:46:59
阅读次数：
173
Mapreduce中由于sort的存在，MapTask和ReduceTask直接是工作流的架构。而不是数据流的架构。在MapTask尚未结束，其输出结果尚未排序及合并前，ReduceTask是又有数据输入的，因此即使ReduceTask已经创建也只能睡眠等待MapTask完成。从而可以从MapTask节点获取数据。一个MapTask最终的数据输出是一个合并的spill文件，可以通过Web地址访问。
分类：
其他好文 时间：
2018-11-23 14:23:02
阅读次数：
209
Mapreduce中由于sort的存在，MapTask和ReduceTask直接是工作流的架构。而不是数据流的架构。在MapTask尚未结束，其输出结果尚未排序及合并前，ReduceTask是又有数据输入的，因此即使ReduceTask已经创建也只能睡眠等待MapTask完成。从而可以从MapTas ...
分类：
其他好文 时间：
2018-11-23 14:09:54
阅读次数：
165
, INFO mapreduce.Job: The url to track the job: http://localhost:8080/ 配置mapred-site.xml ...
分类：
其他好文 时间：
2018-11-22 11:50:11
阅读次数：
150
一、背景 按照年份升序排序，同时每一年中温度降序排序 data文件为1949年-1955年每天的温度数据。 要求：1、计算1949-1955年，每年温度最高的时间 2、计算1949-1955年，每年温度最高的十天 二、二次排序原理 默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时 ...
分类：
编程语言 时间：
2018-11-21 17:45:32
阅读次数：
170
本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本，因为Hadoop的不同版本，源码可能是不同的。 以下是本文的大纲： ...
分类：
其他好文 时间：
2018-11-21 15:35:52
阅读次数：
116
本文通过MetaWeblog自动发布，原文及更新链接：https://extendswind.top/posts/technical/spatialhadoop_compile_and_run SpatialHadoop相对HadoopGIS等库，在MapReduce时代的空间数据处理开源库算处理较... ...
分类：
其他好文 时间：
2018-11-21 12:26:48
阅读次数：
215
