SIMD指令集 from：https://zhuanlan.zhihu.com/p/31271788 SIMD，即Single Instruction, Multiple Data，一条指令操作多个数据．是CPU基本指令集的扩展．主要用于提供fine grain parallelism，即小碎数据的 ...
分类：
其他好文 时间：
2018-11-07 11:17:02
阅读次数：
1647
1. 定义矩形scheme ret 得到一个bach_sizes数组 {'min_length': 8, 'window_size': 720, 'shuffle_queue_size': 270, 'boundaries': [8, 9, 10, 11, 12, 13, 14, 15, 16, 1 ...
分类：
其他好文 时间：
2018-11-06 22:29:05
阅读次数：
252
一些次常用的函数介绍： replace find 如果没有设置起始位置默认为 从头开始 。 random_shuffle() 将数组打乱。 nth_element() 数组下表从零开始，nth_element(a,a+k,a+n)，表示要把第k大的数放到下标为k的位置上。 时间复杂度为O(N) ，比 ...
分类：
其他好文 时间：
2018-11-06 21:28:10
阅读次数：
125
准备环境 CentOS 7 jdk1.8 (这里建议使用1.8版本的jdk 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) hadoop-2.7.3.tar.gz （ 链 ...
分类：
其他好文 时间：
2018-11-05 20:09:38
阅读次数：
237
NSArray+YYAdd 这个shuffle方法不知道行不行 /** Sort the object in this array randomly. */- (void)shuffle; ...
分类：
移动开发 时间：
2018-11-01 12:33:14
阅读次数：
217
此文已由作者叶林宝授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 方案四：Sort on Cell Values 简述： 上述方案三， 当数据行数较多， 情况下， 在二次排序还是可能出现oom情况， 而且， 不同的field_index的数据可能shuffle到同一个分区， ...
分类：
编程语言 时间：
2018-10-31 10:38:41
阅读次数：
153
此文已由作者叶林宝授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 方案四：Sort on Cell Values 简述： 上述方案三， 当数据行数较多， 情况下， 在二次排序还是可能出现oom情况， 而且， 不同的field_index的数据可能shuffle到同一个分区， ...
分类：
编程语言 时间：
2018-10-31 10:38:14
阅读次数：
156
From the answer here, spark.sql.shuffle.partitions configures the number of partitions that are used when shuffling data for joins or aggregations. sp ...
分类：
数据库 时间：
2018-10-30 12:09:31
阅读次数：
350
题目：题目链接 思路：见紫书，对具体操作方式还不是很理解，代码是从一个题解里看的，以后多回顾下，需要理解 代码： ...
分类：
其他好文 时间：
2018-10-27 11:54:32
阅读次数：
124
// 返回min到max中的一个随机数function getRandomInt(min, max) { return Math.floor(Math.random() * (max - min + 1) + min)} function shuffle(arr) { for (let i = 0; ...
分类：
编程语言 时间：
2018-10-26 00:49:14
阅读次数：
203
