1、Shuffle [从mapTask到reduceTask: Mapper -> Partitioner ->Combiner -> Sort ->Reducer] mapper对job任务进行键值对构建并写入环形内存缓冲区[缓冲区满了，map停止直到全写入磁盘]，大小100MB(io.sort. ...
分类：
其他好文 时间：
2018-09-12 11:07:18
阅读次数：
239
这个demo只有一个reducer 所以合并reducer这个demo用不到 ，但是我写出来这样大家以后可以用到，很好用，管理多个reducer，因为只要用到redux就不会只有一个reducer所以这个合并reducer很好用。 需要的技术：react-redux redux实现状态管理 装饰器： ...
分类：
编程语言 时间：
2018-09-12 10:12:48
阅读次数：
683
MapReduce简介 MapReduce的原理图 2.MR原理图 根据代码简单了解MR。 代码简单解析： 根据执行流程图我们不难发现，首先我们从Mapper下手，然后着手Reducer,而Reducer的key(in),value(in)，肯定是Mapper的key(out),value(out) ...
分类：
其他好文 时间：
2018-09-04 23:30:50
阅读次数：
230
Reducer receives (key, values) pairs and aggregate values to a desired format, then write produced (key, value) pairs back into HDFS. Reducer Class Pr ...
分类：
其他好文 时间：
2018-09-01 18:06:22
阅读次数：
180
1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个 ...
分类：
编程语言 时间：
2018-08-28 11:33:20
阅读次数：
168
1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地 ...
分类：
编程语言 时间：
2018-08-25 17:36:18
阅读次数：
196
redux测试 经过手动实现redux(一)和手动实现redux(二)两节, 我们基本实现了redux的整个工作流程，现在我们来试用下。 项目目录 1. 创建唯一的store文件 2. reducers文件夹中是项目所需的所有reducer, 其中index.js里面整合所有reducer为root ...
分类：
其他好文 时间：
2018-08-20 19:06:35
阅读次数：
137
一个app中store（状态树）是唯一的 我们知道对于一个app, store应该是唯一，集中用reducer管理的，那么当app中有多个页面，每个页面有多个组件时，就应该有多个reducer来管理。 当我某个组件dispatch出去一个action(动作)时，store接收到action,应该交给 ...
分类：
其他好文 时间：
2018-08-20 14:33:16
阅读次数：
147
1. State 应用的数据，即状态 2. Action 一个纯对象，携带这个操作的类型和数据信息，主要是用来进行传递信息，如下所示： 3. Action Creater 一个函数，根据指定参数，来生成一个Action，目的是减少代码量 4. Reducer 一个纯函数，用来修改应用的状态，接收当前 ...
分类：
其他好文 时间：
2018-08-19 22:42:32
阅读次数：
200
Apache Hadoop 是一种通过服务集群并使用MapReduce编程数据模型完成大数据的分布式处理框架，核心模块包括：MapReduce，Hadoop Utilites，YARN（Yet Another Resource Negotiator）和HDFS（Hadoop Distributed ...
分类：
其他好文 时间：
2018-08-19 16:59:50
阅读次数：
143
