1、spark的一大特性就是基于内存计算，Driver只保存任务的宏观性的元数据，数据量较小，且在执行过程中基本不变，不做重点分析，而真正的计算任务Task分布在各个Executor中，其中的内存数据量大，且会随着计算的进行会发生实时变化，所以Executor的内存管理才分析的重点。 2、在执行Sp ...
分类：
其他好文 时间：
2020-02-20 19:53:27
阅读次数：
56
一、JVM整体架构 1、JVM（Java虚拟机）：指以软件的方式模拟具有完整硬件系统功能、运行在一个完全隔离环境中的完整计算机系统，是物理机的软件实现。常用的虚拟机有VMWare、Virtual Box、Java Virtual Machine。 2、JVM由三个主要的子系统构成 类加载子系统 （即 ...
分类：
编程语言 时间：
2020-02-20 09:46:49
阅读次数：
68
左倾堆，用于堆的快速合并。 规则： ① 节点的键值小于或等于它的左右子节点的键值。 ② 节点的左孩子的NPL >= 右孩子的NPL。 ③ 节点的NPL = 它的右孩子的NPL + 1。 测试文件 main.cpp： #include <iostream> #include "LeftistHeap. ...
分类：
其他好文 时间：
2020-02-19 23:47:11
阅读次数：
59
看到这篇的同学应该是安装了新版本的mysql吧，新版本的mysql的密码初始化方式已经改了， 下面这个log就是安装mysql时候的输出，其中的红字就是密码初始化命令， Installing MySQL system tables...2020-02-18 00:51:06 0 [Warning] ...
分类：
数据库 时间：
2020-02-18 20:09:31
阅读次数：
256
问题： 在未排序的数组中找到第 k 个最大的元素。请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。 示例 1: 输入: [3,2,1,5,6,4] 和 k = 2输出: 5示例 2: 输入: [3,2,3,1,2,4,5,5,6] 和 k = 4输出: 4说明: 你 ...
分类：
编程语言 时间：
2020-02-17 14:01:12
阅读次数：
82
STL容器所使用的heap内存是由容器所拥有的分配器对象管理，不是被new和delete直接管理。本章并不讨论STL分配器。 条款49 ： 了解new-handler的行为 当operator new 抛出异常以反映一个未获满足的内存需求之前，它会先调用一个客户指定的错误处理函数，一个所谓的new- ...
分类：
其他好文 时间：
2020-02-16 16:26:02
阅读次数：
62
前言了解JVM是对Java开发人员的基本要求，JVM的相关内容自然也成了现在Java程序员面试的重要考点。不过估计很多小伙伴和我一样，长时间醉心于CRUD，却忘了去了解一下更底层、更基础的东西，殊不知这些才是决定你能在这条路上走多远的关键因素，那接下来我们就一起来深入学习一下看似神秘的JVM吧。JVM总体来看内容还是很多的，我会把最重要的内容介绍给大家，不过如果你有时间和精力的话，还是推荐你去看一
分类：
其他好文 时间：
2020-02-16 01:07:16
阅读次数：
62
内存分析篇 VisualVM 通过检测 JVM 中加载的类和对象信息等帮助我们分析内存使用情况，我们可以通过 VisualVM 的监视标签对应用程序进行内存分析。 一.内存堆Heap 首先我们来看内存堆Heap使用情况，我本机eclipse的进程在visualVM显示如下： 随便写个小程序占用内存大 ...
分类：
其他好文 时间：
2020-02-12 14:48:36
阅读次数：
62
本文始发于个人公众号： TechFlow , 原创不易，求个关注 今天的文章来介绍Python当中一个蛮有用的库—— heapq 。 heapq的全写是heap queue，是堆队列的意思。这里的 堆和队列 都是数据结构，在后序的文章当中我们会详细介绍，今天只介绍heapq的用法，如果不了解heap ...
分类：
编程语言 时间：
2020-02-11 09:51:42
阅读次数：
103
