用的是xlsx包,由于v8默认内存限制是1.4G,当导出的数据太大的时候,内存会炸,由于csv格式的excel文件,本质上就是文本文件,所以在不调大内存上限的情况下,实现思路是分批处理,用流的方式追加到文件,第一批处理有header,后面追加没有header。微软excel能打开最大的行数是1048 ...
分类:
其他好文 时间:
2020-07-31 12:31:12
阅读次数:
83
1.MySQL会为每个线程分配一个内存(sort_buffer)用于排序该内存大小为sort_buffer_size 1>如果排序的数据量小于sort_buffer_size,排序将会在内存中完成 2>如果排序数据量很大,内存中无法存下这么多数据,则会使用磁盘临时文件来辅助排序,也称外部排序 3>在 ...
分类:
数据库 时间:
2020-07-29 12:38:27
阅读次数:
71
键空间通知(Keyspace Notification)是一个从Redis 2.8.0版本开始可用的功能。 1、简介: 键空间通知基于订阅Pub/Sub(发布/订阅),当库中的key发生改变时,能够对你感兴趣的事件进行通知。 可能接收到的事件示例,如下所示: 所有影响到一个给定键的命令。 所有接收到 ...
分类:
其他好文 时间:
2020-07-28 13:58:08
阅读次数:
106
Reids的种淘汰策略: noeviction: 不删除策略, 达到最大内存限制时, 如果需要更多内存, 直接返回错误信息。 大多数写命令都会导致占用更多的内存(有极少数会例外, 如 DEL )。 allkeys-lru: 所有key通用; 优先删除最近最少使用(less recently used ...
分类:
其他好文 时间:
2020-07-23 23:05:27
阅读次数:
84
垃圾收集算法 标记-清除算法:正如他的名字一样,标记-清除算法就是先把需要回收的对象打上标记,表明该对象需要回收了,然后再进行统一的垃圾回收。但是这种算法有两个缺点:1、效率问题,标记和清除的过程效率很低;2、空间问题,标记-清除算法会产生大量的内存随便,可能我们在进行较大内存分配的时候,因为没有合 ...
分类:
编程语言 时间:
2020-07-20 17:18:09
阅读次数:
63
问题描述 2020年7月13日一大早收到告警,测试环境数据库CPU告警。 登录aws查看监控如下图 问题分析 出现这种cpu 100%的问题,都是因为sql性能问题导致的, 主要表现于 cpu 消耗过大,有慢sql造成、慢sql全表扫描,扫描数据库过大,内存排序,队列等等 并发现写入相对于查询来说比 ...
分类:
数据库 时间:
2020-07-14 13:09:21
阅读次数:
81
查看主板支持的最大内存 wmic memphysical get maxcapacity 得到的结果单位是 kb(不过据广大网友说这个不太准,有可能出来的是单槽支持的最大内存) 查看系统型号 win + r -> dxdiag ...
PHP用超级全局变量数组$_FILES来记录文件上传相关信息的。 1.file_uploads=on/off 是否允许通过http方式上传文件 2.max_execution_time=30 允许脚本最大执行时间,超过这个时间就会报错 3.memory_limit=50M 设置脚本可以分配的最大内存 ...
分类:
Web程序 时间:
2020-07-10 13:44:42
阅读次数:
87
1. docker简介和核心概念 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。 2. 为什么需要使用到容器 1. 传统服务部署,维护相对繁琐。 ...
分类:
其他好文 时间:
2020-07-05 15:52:35
阅读次数:
55
内存频率,内存主频和CPU主频一样,习惯上被用来表示内存的速度,它代表着该内存所能达到的最高工作频率。内存主频是以MHz(兆赫)为单位来计量的。内存主频越高在一定程度上代表着内存所能达到的速度越快。内存主频决定着该内存最高能在什么样的频率正常工作。
分类:
其他好文 时间:
2020-06-22 13:01:19
阅读次数:
106