1、map函数 array=[1,3,4,71,2] ret=[] for i in array: ret.append(i**2) print(ret) #如果我们有一万个列表,那么你只能把上面的逻辑定义成函数 def map_test(array): ret=[] for i in array: ...
分类:
编程语言 时间:
2020-07-05 22:50:47
阅读次数:
101
RDD概述 RDD:弹性分布式数据集,初学时,可以把RDD看做是一种集合类型(和Array,List类比) RDD的特点: ①有容错性,即数据丢失是可以恢复的 ②有分区机制,可以并行的处理RDD数据 创建RDD的2种方式: ①将一个普通的集合类型(Array或List) ②通过Spark读取外部存储 ...
分类:
其他好文 时间:
2020-07-05 15:15:06
阅读次数:
66
工作流程1 Map Task MR工作流程2 Reduce Task 1)提交切片信息,jar包,和xml配置文件到yarn。2)Yarn ResourceManager启动一个MR AppMaster。3)AppMaster根据切片信息启动相应数量的Map Task。4)Map Task取读取按照 ...
分类:
其他好文 时间:
2020-07-03 23:29:37
阅读次数:
60
题目描述: 给定一个 n x n 矩阵,其中每行和每列元素均按升序排序,找到矩阵中第 k 小的元素。 请注意,它是排序后的第 k 小元素,而不是第 k 个不同的元素。 今日学习: 1.复习reduce 2.归并排序 题解: 1.直接合成一个数组然后sort 2.二分查找 3.归并排序 //令人羞耻的 ...
分类:
其他好文 时间:
2020-07-02 13:36:03
阅读次数:
47
经常会有这样的业务需求,需要对一个 stream 连续分区,比如: source .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) .process(new TmpKeyedProcessFunction2) .keyBy(0) . ...
分类:
其他好文 时间:
2020-07-01 22:13:41
阅读次数:
84
Stream API为我们提供了Stream.reduce用来实现集合元素的归约。reduce函数有三个参数: Identity标识:一个元素,它是归约操作的初始值,如果流为空,则为默认结果。 Accumulator累加器:具有两个参数的函数:归约运算的部分结果和流的下一个元素。 Combiner合 ...
分类:
编程语言 时间:
2020-07-01 09:26:36
阅读次数:
60
直接上代码 this.totalScore = arr.reduce( (prev, cur) => { return cur.score + prev; }, 0 ); ...
分类:
其他好文 时间:
2020-06-30 10:36:58
阅读次数:
43
MapReduce计算模型中,如果两个数据集的关联,并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联,那么会导致大量数据分发到一个节点计算,使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型,而是计算思想模型,比如spark、flink等,甚至更广阔 ...
分类:
其他好文 时间:
2020-06-30 00:16:31
阅读次数:
68
DARTS要做的事情,是训练出来两个Cell(Norm-Cell和Reduce-Cell),然后把Cell相连构成一个大网络,而超参数layers可以控制有多少个cell相连。 Norm-Cell: [输入与输出的FeatureMap尺寸保持一致] Reduce-Cell: [输出的FeatureM ...
分类:
其他好文 时间:
2020-06-28 20:44:11
阅读次数:
84
什么是reducer reducer 就是?个纯函数,接收旧的 state 和 action,返回新的 state。 (previousState, action) => newState 之所以将这样的函数称之为 reducer,是因为这种函数与被传? Array.prototype.reduce ...
分类:
其他好文 时间:
2020-06-28 20:33:35
阅读次数:
37