multiprocessing.pool.apply_async 可以执行并行的进程，但是会将所有进程先读入列表，对于不是很多数量的进程来说没有问题，但是如果进行数量很多，比如100万条，1000万条，而进程不能很快完成，内存就会占用很多，甚至挤爆内存。那么如何限制内存的占有量呢，可以检测pool. ...
分类：
移动开发 时间：
2020-06-11 19:31:35
阅读次数：
117
对于commons pool就不作介绍了，文章分两部分：源码分析，例子。 源码分析 在Commons pool之中主要有几个概念： ObjectPool：提供所有对象的存取管理。 PooledObject：池化的对象，是对对象的一个包装，加上了对象的一些其他信息，包括对象的状态（已用、空闲），对象的 ...
分类：
Web程序 时间：
2020-06-11 16:55:39
阅读次数：
63
纸上得来终觉浅，绝知此事要躬行。 MySQL体系结构 Connection Pool：连接池组件 Management Services & Utilities：管理服务和工具组件 SQL Interface：SQL接口组件 Parser：查询分析器组件 Optimizer：优化器组件 Caches ...
分类：
数据库 时间：
2020-06-10 22:40:40
阅读次数：
79
Class文件版本号 表1 Class文件格式 类型 名称 数量 u4 magic 1 u2 minor_version 1 u2 major_version 1 u2 constant_pool_count 1 cp_info constant_pool constant_pool_count - ...
分类：
其他好文 时间：
2020-06-10 19:33:48
阅读次数：
100
基于线程池实现异步爬取dummy 使用multiprocessing.dummy中的Pool池 # 先构建要访问url的列表 import requests url = 'https://www.qiushibaike.com/text/page/%d/' urls = [] for page in ...
分类：
编程语言 时间：
2020-06-09 12:57:31
阅读次数：
61
查看使用的数据库引擎 show variables like '%storage_engine%'; 显示的使用的是InnoDB 查看引擎状态 show engine innodb status 2020-06-09 11:48:38 7fd22fb2c700 INNODB MONITOR OUTP ...
分类：
数据库 时间：
2020-06-09 12:35:52
阅读次数：
83
multiprocessing-Pool 进程池 进程池概念：定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空 ...
分类：
系统相关 时间：
2020-06-06 21:35:41
阅读次数：
91
1.优化构建速度：用在开发环境中 DllPlugin：已经快过时了，配置繁琐 HardSourceWebpackPlugin：配置简单 DllPlugin插件打包第三方类库 优化构建性能 Dll动态链接库 其实就是做缓存：一个项目中我们经常会用到第三方类库，比如React、lodash等，没特别的需 ...
分类：
Web程序 时间：
2020-06-06 18:59:10
阅读次数：
109
安装ntp和ntpdate 在安装centos7虚拟机的时候，已经将时区设置为了Asia/shanghai，但还是出现时间不准，相差了8小时 可以安装ntp和ntpdate，使用 NTP 公共时间服务器池（NTP Public Pool Time Servers）http://www.pool.nt ...
分类：
其他好文 时间：
2020-06-05 13:27:11
阅读次数：
149
MySQL参数优化对于不同的网站，及其在线量，访问量，帖子数量，网络情况，以及机器硬件配置都有关系，优化不可能一次性完成，需要不断的观察以及调试，才有可能得到最佳效果。下面列出了对性能优化影响较大的主要变量，主要分为连接请求的变量和缓冲区变量1、连接请求的变量1).max_connectionsMySQL的最大连接数，如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在
分类：
数据库 时间：
2020-06-04 18:08:01
阅读次数：
62
