//斗地主发牌程序 //洗牌函数 shuffle() 接收一个数组 let shuffle = function(pokers){ for(let i=0;i<pokers.length;i++) { let random = parseInt(Math.floor(Math.random()*54 ...
分类：
其他好文 时间：
2019-09-12 16:34:31
阅读次数：
73
package cn.learn.collection.Collections; /* 排序的对象的类，实现comparable借口，重写compareto方法 若要打印必须重写toString方法，会默认调用 */ public class Person implements Comparable... ...
分类：
编程语言 时间：
2019-09-11 23:48:40
阅读次数：
137
测试文件：https://adworld.xctf.org.cn/media/task/attachments/a03353e605bc436798a7cabfb11be073 1.准备 获得信息 2.IDA打开 3.get flag！ ECCON{Welcome to the SECCON 201 ...
分类：
其他好文 时间：
2019-09-10 01:01:48
阅读次数：
425
本文介绍使用Python3中的random库生成随机数、随机小数、随机序列、随机字符串以及扑克洗牌等方法。 一、生成随机浮点数或小数 1、#生成0-1之间的浮点数 返回 2、#生成0-1之间的浮点数，2位精度 返回 3、#生成[1,100]之间的浮点数； 返回 4、#生成[1,100]之间的浮点数， ...
分类：
编程语言 时间：
2019-09-07 17:15:41
阅读次数：
155
reduceByKey：按照key进行聚合，在shuffle之前有combine（预聚合）操作，返回结果是RDD[k,v] groupByKey：按照key进行分组，直接进行shuffle 建议使用reduceByKey。但是需要注意是否会影响业务逻辑 reduceByKey：按照key进行聚合，在 ...
分类：
其他好文 时间：
2019-09-04 10:01:45
阅读次数：
224
coalesce重新分区，可以选择是否进行shuffle过程。由参数shuffle: Boolean = false/true决定 repartition实际上是调用的coalesce，默认是进行shuffle的 ...
分类：
其他好文 时间：
2019-09-04 09:51:32
阅读次数：
148
Spark目前支持Hash分区和Range分区，用户也可以自定义分区，Hash分区为当前的默认分区，Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数 只有Key-Value类型的RDD才有分区器的，非Key-Value类型的RDD ...
分类：
其他好文 时间：
2019-09-04 09:42:28
阅读次数：
73
List、Set介绍 java.util.ArrayList 集合数据存储的结构是数组结构。元素增删慢，查找快 java.util.LinkedList 集合数据存储的结构是链表结构。方便元素添加、删除的集合 java.util.LinkedHashSet ，它是链表和哈希表组合的一个数据存储结构。 ...
分类：
其他好文 时间：
2019-09-01 12:35:13
阅读次数：
91
Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行，而Reduce之运行在多台主机上用作收集map结果用，reduce数量取决于reduce收集函数分了几个组，只在几个几个节点上运行。 shuffle机制：分组排序 MapReduce执行过程 map进程数量基于切片思想 ...
分类：
其他好文 时间：
2019-08-26 00:15:36
阅读次数：
87
简介 Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作。包括：flatMap，filter，mapPatitions等。 shuffle后内存溢出的shuffle操作包括join，reduceByKey，rep ...
分类：
其他好文 时间：
2019-08-25 14:09:52
阅读次数：
75
