最近发现我们系统导出excel文件时由于是导出百万级数据导出，速度过慢并且内存占用多，故进行了下面的一次优化。 我们使用apache的poi进行excel文件操作 主要耗时： 1、从数据库得到需要导出的结果集耗时 2、将数据写入excel耗时 优化前 public abstract class Ba ...
分类：
其他好文 时间：
2021-04-26 13:58:43
阅读次数：
0
1.过期策略 定期删除+惰性删除 定期指每过一段时间去排查下是否过期，过期的就删除。惰性删除指在使用的时候去判断是否过期，过期就删除，并返回查询不到。 2.内存淘汰机制 就是内存快满的时候，通过一些机制来保证本次写入能成功。 1）noeviction：当内存使用超过配置的时候会返回错误，不会驱逐任何 ...
分类：
其他好文 时间：
2021-04-26 13:28:59
阅读次数：
0
1 缓存基础知识 缓存是实际工作中非常常用的一种提高性能的方法。 缓存可以减少生成内容所需的工作，从而显著提高应用程序的性能和可伸缩性。 缓存最适用于不经常更改的数据。 通过缓存，可以比从原始数据源返回的数据的副本速度快得多。 2 使用内存缓存（IMemoryCache） 首先，我们简单的创建一个控 ...
编译器优化技术 现代编译器缺省会使用 RVO（return value optimization，返回值优化）、NRVO（named return value optimization、命名返回值优化）和复制省略（Copy elision）技术，来减少拷贝次数来提升代码的运行效率。 注1：vc6、v ...
分类：
编程语言 时间：
2021-04-26 13:05:46
阅读次数：
0
1. a.该构造函数没有将str指针初始化，应将指针初始化为NULL，或是使用new[]初始化。 b.该构造函数没有创建新的字符串，只是复制了原有字符串的地址。应当使用new[]和strcpy()。 c.该构造函数复制了字符串，但没有分配内存空间，应使用new char[len + 1]来分配适当数 ...
分类：
编程语言 时间：
2021-04-24 13:49:21
阅读次数：
0
以下介绍redis的几种类型：List、Pub/Sub、Stream 场景 List Pub/Sub Stream 阻塞式消费 支持 支持 支持 发布/订阅 不支持 支持 支持 重复消费 不支持 不支持 支持 持久化 支持 不支持 支持 消息堆积 内存持续增长 缓冲区溢出，消费者强制下线 可控制队列 ...
分类：
其他好文 时间：
2021-04-24 13:46:07
阅读次数：
0
#计算Spark StorageMemory Heap内存 tag: Spark, Spark Memory, Spark Storage Memory 2021-04-23 21:26:25 星期五 version: spark-2.4.5 Executor 进程 org.apache.spark ...
分类：
其他好文 时间：
2021-04-24 13:38:45
阅读次数：
0
什么是mycat 1、一个彻底开源的，面向企业应用开发的大数据库集群 2、支持事务、ACID、可以替代MySQL的加强版数据库 3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群 4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 5、结合传 ...
分类：
数据库 时间：
2021-04-24 13:26:20
阅读次数：
0
1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] ...
分类：
其他好文 时间：
2021-04-23 12:10:50
阅读次数：
0
和 Windows 一样，Linux 也有目录的概念。系统中众多的文件需要借助到目录进行存储与管理。我们下面对 Linux 系统中的目录结构以及经常使用到的概念进行一个完整介绍。 Linux 系统目录结构 在 Windows下，系统把硬盘划分为不同的磁盘分区，每个磁盘分配一个不同的盘符，比如 C:\ ...
分类：
系统相关 时间：
2021-04-22 16:34:05
阅读次数：
0
