MapReduce主要用于面向大规模数据集的并行计算，需要重点了解MapReduce的并行编程模型和运行机制。MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。Map和Reduce操作需要我们自己定义相应Map类和Reduce类。而shuffle则是系统自动帮我们实... ...
分类：
其他好文 时间：
2019-07-10 10:41:13
阅读次数：
134
一、为什么叫MapReduce? Map是以一条记录为单位映射 Reduce是分组计算 ...
分类：
其他好文 时间：
2019-07-09 13:59:03
阅读次数：
111
1.导入pom依赖 2.基本使用 a.创建 test1.txt 文件用于统计 b.创建 Mapper c.创建 Reducer d.使用 e.注意：若运行后报 "HADOOP_HOME and hadoop.home.dir are unset." 异常，则需要客户端也配置 HADOOP_HOME ...
分类：
编程语言 时间：
2019-07-08 17:50:12
阅读次数：
105
oozie提交workflow后执行task报错： 查看代码 org.apache.hadoop.mapreduce.v2.app.rm.ResourceCalculatorUtils 应该是以下两者之一为0 required.getMemory()required.getVirtualCores( ...
分类：
其他好文 时间：
2019-07-05 23:59:42
阅读次数：
260
参考了几篇文章，总算搞定打包第三方jar了，记录一下 https://segmentfault.com/a/1190000016237395 https://www.cnblogs.com/Dhouse/p/6595344.html https://yq.aliyun.com/articles/30 ...
分类：
其他好文 时间：
2019-07-05 14:22:36
阅读次数：
105
Hadoop运行模式 （1）本地模式(默认模式): 不需要启用单独进程，直接可以运行,测试和开发时使用。 即在一台机器上进行操作，仅为单机版。 本地运行Hadoop官方MapReduce案例 操作命令: 执行案例: hadoop jar share/hadoop/mapreduce/hadoop-m ...
分类：
其他好文 时间：
2019-07-05 12:28:50
阅读次数：
164
1.Hadoop a.概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构 b.组成：Hadoop = HDFS (文件系统) + Mapreduce (数据处理) 2.安装 a.配置Java运行环境 b.从官网下载 Hadoop 并解压，地址：http://hadoop.apac ...
分类：
其他好文 时间：
2019-07-05 10:57:52
阅读次数：
106
hdfs基准测试：磁盘读写性能测试hadoopjar./hadoop-mapreduce-client-jobclient-2.7.2.3.jarTestDFSIO-read-nrFiles10-fileSize10MBhadoopjar./hadoop-mapreduce-client-jobclient-2.7.2.3.jarTestDFSIO-write-nrFiles10-fileSize
分类：
其他好文 时间：
2019-07-02 13:30:39
阅读次数：
171
1.Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台。 在速度方面， Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。 在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作， 否则我们每 ...
分类：
其他好文 时间：
2019-07-01 10:25:19
阅读次数：
138
Spark拥有hadoop mapreduce所具有的优点，但输出结果可以保存在内存中，从而不需要读写hdfs spark负责数据的计算，用来替代mapreduce编程模型，不能替代hdfs等存储系统 spark的特点： 运算速度快，内存中计算可达hadoop的100倍，硬盘中也能快10倍 易于使用 ...
分类：
其他好文 时间：
2019-07-01 00:57:43
阅读次数：
79
