## MapReduce概述- Google MapReduce的克隆版本- 优点：海量数据的离线处理，易开发，易运行- 缺点：实时流式计算Hadoop MapReduce是一个软件框架，用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量数据（多TB数据集） # ...
分类：
其他好文 时间：
2018-10-31 11:21:58
阅读次数：
138
Mapreduce的运算过程为两个阶段： 第一个阶段的map task相互独立，完全并行； 第二个阶段的reduce task也是相互独立，但依赖于上一阶段所有map task并发实例的输出； 这些task任务分布在多台机器运行，它的运行管理是有一个master负责，这个master由yarn负责启 ...
分类：
其他好文 时间：
2018-10-11 19:39:53
阅读次数：
176
wordcount工作流程input->拆分Split->映射map->派发Shuffle
分类：
编程语言 时间：
2018-10-09 17:07:56
阅读次数：
151
最近在学习相关问题是，运行”./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' “命令，出现了以下错误： 18/10/07 11:41 ...
分类：
其他好文 时间：
2018-10-07 13:01:24
阅读次数：
1435
需要删除可能存在的output目录 删除的命令是：bin/hdfs dfs -rm -r /user/luchi/output ...
分类：
编程语言 时间：
2018-10-04 23:49:06
阅读次数：
635
回顾MapReduce的计算过程 Spark对比MapReduce Spark是借鉴了MapReduce的思想并在其基础上发展起来的，继承了其分布式计算的优点并改进其缺陷，但两者也有不少的差异如下： 1.spark更快，spark把运行的之间数据存放在内存，迭代计算效率高；mapreduce的之间结 ...
分类：
其他好文 时间：
2018-09-16 15:58:38
阅读次数：
228
package com.jason object FIndjar { def main(args: Array[String]): Unit = { val pd = classOf[org.apache.hadoop.mapreduce.TaskID].getProtectionDomain pr... ...
分类：
编程语言 时间：
2018-09-16 00:34:15
阅读次数：
250
一. spark 概述 1.是什么: ? Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。2012年,它是由加州伯克利大学AMP实 验室开源的类 Hadoop MapReduce 的通用并行计算框架，Spark 拥有Hadoop MapReduce 所具有的优点；但不 同于 ...
分类：
其他好文 时间：
2018-08-30 11:11:38
阅读次数：
198
网址：http://www.iqiyi.com/w_19rtz04nh9.html ...
分类：
其他好文 时间：
2018-08-28 11:26:59
阅读次数：
393
1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地 ...
分类：
编程语言 时间：
2018-08-25 17:36:18
阅读次数：
196
