求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce端汇总并且统计记录数，然后作 ...
分类：
其他好文 时间：
2019-11-15 12:19:47
阅读次数：
77
random：随机数函数 import random #随机小数 >>> random.random() # 大于0且小于1之间的小数 0.7664338663654585 >>> random.uniform(1,3) #大于1小于3的小数 1.6270147180533838 #随机整数 >>> ...
分类：
编程语言 时间：
2019-11-12 12:52:14
阅读次数：
76
384. Shuffle an Array random.nextInt(n) 返回[0, n) 的随机数，故要+1； class Solution { private int[] nums; private Random random; public Solution(int[] nums) { ...
分类：
其他好文 时间：
2019-11-12 12:47:49
阅读次数：
78
https://www.cnblogs.com/tudas/p/3-shuffle-algorithm.html 一、Fisher–Yates Shuffle ...
分类：
编程语言 时间：
2019-11-01 18:18:55
阅读次数：
109
一、随机数洗牌 打乱下标 void CGameConvenient::Shuffle(void *pArray,ushort uCount,ushort uItemSize) { if(nCount<=1) return; //记录下标 std::vector<ushort> IndexArray; ...
分类：
其他好文 时间：
2019-10-31 12:00:58
阅读次数：
82
一、数据压缩在hadoop中的意义1、基本概述?压缩技术可以减少底层hdfs的读写字节数。并且能够降低在数据传输过程中占用的网络带宽资源，以及降低占用的磁盘空间。而在MapReduce中，shuffle以及merge过程都面临着巨大的IO压力。但是要注意增加了压缩，另外一方面会增加cpu的负载。所以在要权衡好是否采用压缩，以及采用的压缩算法的特性。2、压缩应用基本原则运算密集型的job，少用压缩。
分类：
其他好文 时间：
2019-10-29 13:44:07
阅读次数：
84
专题一 简单搜索POJ 1321 棋盘问题POJ 2251 Dungeon MasterPOJ 3278 Catch That CowPOJ 3279 FliptilePOJ 1426 Find The MultiplePOJ 3126 Prime PathPOJ 3087 Shuffle'm Up ...
分类：
其他好文 时间：
2019-10-26 22:38:47
阅读次数：
163
1. SparkShuffle 概念 reduceByKey 会将上一个RDD中的每一个key对应的所有 value 聚合成一个 value, 然后生成一个value, 然后生成一个新的 RDD, 元素资源是 对的形式, 这样每一个 key 对应 一个聚合起来的 value。 问题: 聚合之前, 每 ...
分类：
其他好文 时间：
2019-10-26 10:53:58
阅读次数：
92
MapReduce的shuffle过程介绍 Shuffle的语义是洗牌、混洗，即把一组有一定规则的数据尽量转换成一组无规则的数据，随机性越高越好。 MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shu ...
分类：
其他好文 时间：
2019-10-24 15:46:21
阅读次数：
94
RDD 宽窄依赖 RDD之间有一系列的依赖关系, 可分为窄依赖和宽依赖 窄依赖 从 RDD 的 parition 角度来看 父 RRD 的 parition 和 子 RDD 的 parition 之间的关系是一对一的 (或 者是多对一的)。 不会有 shuffle 产生 宽依赖 父 RRD 的 pa ...
分类：
其他好文 时间：
2019-10-23 18:02:41
阅读次数：
133
