1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
引入计数 在Python中，每个对象都有指向该对象的引用总数 引用计数 查看对象的引用计数：sys.getrefcount() import sys alist=['a','b','c'] >>> sys.getrefcount(alist) 2 >>> b=alist >>> sys.getref ...
分类：
编程语言 时间：
2021-06-18 19:16:12
阅读次数：
0
一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类：
其他好文 时间：
2021-06-08 22:45:15
阅读次数：
0
面向对象具有三种基本特性：封装、继承、多台。这三种特性不是 Java 中特有的，而是面向对象的语言所共有的。 1. 封装 封装就是将数据和方法包装进类中并把具体实现隐藏。隐藏实现（implement hiding）的意思是就是访问控制。访问控制将接口与实现分离。对客户端程序员来说，访问控制划分了其使 ...
分类：
编程语言 时间：
2021-05-24 12:50:05
阅读次数：
0
1.1 计算机网络在信息时代的作用 互联网具有两个重要特性 : 连通性 资源共享 1.2 互联网概述 1.2.1 网络的 网络 计算机网络(简称网络)由若干结点和链接它们的链路组成.网络的结点可以是计算机, 集线器, 交换机, 或路由器等. 如图 : 给出了一个具有四个结点和三条链路的网络.我们看到 ...
分类：
其他好文 时间：
2021-04-21 12:17:00
阅读次数：
0
Npm包管理器相当于我们之前学的java项目中的Maven，他们的作用相同，用法近乎相似。 1.首先要构建nodejs工程，命令为npm init 或是 npm init -y(创建工程时选项默认)。 2.打开终端输入npm init 点击回车， 3.package name(项目名称): npmp ...
分类：
其他好文 时间：
2021-04-08 13:59:07
阅读次数：
0
各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收 ...
分类：
其他好文 时间：
2021-03-30 13:23:18
阅读次数：
0
Docker基础原理 前言 Docker是一个开源的软件项目,让用户程序部署在一个相对隔离的环境运行，借此在Linux操作系统上提供一层额外的抽象，以及操作系统层虚拟化的自动管理机制。需要额外指出的是，Docker并不等于容器（containers），Docker只是容器的一种，其他的种类的容器还有 ...
分类：
其他好文 时间：
2021-03-18 14:15:36
阅读次数：
0
概述 Redis 是速度非常快的 非关系型（NoSQL） 内存 键值 数据库。 Redis 支持很多特性：例如数据持久化，使用复制来扩展读性能，使用分片来扩展写性能，Redis Cluster 实现了分布式的支持。 内存管理机制：在 Redis 中，并不是所有数据都一直存储在内存中，可以将一些很久没 ...
分类：
其他好文 时间：
2021-03-09 13:20:08
阅读次数：
0
Go语言自诞生以来，一路走到今天已经经历了11个年头了。其包依赖管理机制也从无到有，从vendor演化成了如今的Go module。Go module从Go 1.11进入gopher们视野，到目前的Go 1.15，其改进和优化一直在持续。在即将到来的Go 1.16中，Go module将成为默认包依 ...
分类：
其他好文 时间：
2021-03-03 12:07:04
阅读次数：
0
