在早期版本的Spark中，shuffle过程没有磁盘读写操作，是纯内存操作，后来发现效率较低，且极易引发OOME，较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShuffleManager：上一个stage中每一个task会对下一个stage的每一个task写一份数 ...
分类：
其他好文 时间：
2020-02-20 20:29:21
阅读次数：
62
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点： 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类：
其他好文 时间：
2020-02-20 13:13:52
阅读次数：
65
[toc] 1.Merge Pandas具有全功能的,高性能内存中连接操作,与关系型数据库中的连接操作类似。 语法： 1.1 简单关联:left_on与right_on 下面是Merge的一些实战案例： （1）创建测试数组 （2）使用Merge，找出每个学生对应的班级名字 输出结果： 1.2 使用h ...
分类：
编程语言 时间：
2020-02-19 19:18:27
阅读次数：
99
目标说明 统一良好的代码格式规范可以有效提升开发团队之间的「协作效率」，如果不同的开发团队或者开发人员采用不同的代码格式规范，那么每次Format代码都会导致大量的变化，在Code Review及Merge代码时会带来很多的干扰项。因此制定本代码规范希望达成以下目标： 统一Java代码格式规范，确保 ...
分类：
编程语言 时间：
2020-02-19 14:54:42
阅读次数：
94
归并排序 1. 算法推导 对一个等待排序的数组A，以及排序函数sort，以及合并两个有序数组的函数merge。则 sort(A) = merge(sort(A1), sort(A2))，上面这个推导公式看起来是满足递归算法的重复条件。举个例子： 2. 代码实现 2.1 递归实现 2.2 非递归实现 ...
分类：
编程语言 时间：
2020-02-18 14:57:50
阅读次数：
74
冲突，就要 Merge，没有冲突那就不叫 Merge。 写代码过程中，多人协作，难免有冲突，当然，自己也有可能跟自己冲突，不要说你没遇到过，那怎么办呢？git 给我们的解决办法是用 mergetool，如果不特殊安装什么，默认的合并工具是 vimdiff， 打开之后的样子是： 默认是 Vim 配置， ...
分类：
其他好文 时间：
2020-02-18 12:52:49
阅读次数：
60
Given a collection of intervals, merge all overlapping intervals. Example 1: Input: [[1,3],[2,6],[8,10],[15,18]] Output: [[1,6],[8,10],[15,18]] Explan ...
分类：
其他好文 时间：
2020-02-17 22:31:56
阅读次数：
92
好妙的一个题… 我们设 $f_{i,j}$ 为 $i$ 节点出现 $j$ 的概率 设 $l = ch[i][0] , r = ch[i][1]$ 即左儿子右儿子 设 $m$ 为叶子结点的个数 显然，$i$ 出现 $j$ 的概率为 $$f_{i,j} = f_{l,j} (p_i \sum_{k=1} ...
分类：
其他好文 时间：
2020-02-17 16:28:31
阅读次数：
62
表类型（存储引擎）的选择 MySQL支持的存储引擎包括MyISAM、InnoDB、BDB、MERGE、EXAMPLE、NDB、Cluster、ARCHIVE、CSV、BLACKHOLE、FEDERATED等其中InnoDB和BDB提供事物安全表，其他存储引擎都是非事务安全表。 查看当前的默认存储引擎 ...
分类：
数据库 时间：
2020-02-16 13:14:47
阅读次数：
109
Github报错：更新被拒绝，因为你当前分支的最新提交落后于其对应的远程分支 问题现象 从上图中报错信息得知，此 是说，拒绝 提示： 由于当前分支的提示已过期，更新被拒绝 解决办法 因为当前分支的最新提交落后其对应的远程分支，所以我们需要先从远程库fetch到更新在和本地库合并，之后就可以正常进行g ...
分类：
其他好文 时间：
2020-02-15 23:17:42
阅读次数：
115
