操作系统 ： CentOS7.3.1611_x64 python版本：2.7.5 问题描述 Python的GIL会对CPU密集型的程序产生影响，如果完全使用Python来编程，怎么避开GIL的限制呢？ 解决方案 在多线程中使用进程池来规避GIL的限制。具体如下： 1、使用multiprocessin ...
分类：
编程语言 时间：
2017-08-20 00:45:01
阅读次数：
293
进程间通信 进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的。 进程队列queue 不同于线程queue，进程queue的生成是用multiprocessing模块生成的。 在生成子进程的时候，会将代码拷贝到子 ...
分类：
编程语言 时间：
2017-08-14 20:13:54
阅读次数：
313
什么是进程池呢？ 当一个主进程执行过程中需要创建子进程来完成多个任务时候，那么如果运用fork来进行创建然后再回收， 在创建在回收，降低主进程性能。所以事先创建进程池。 当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个 ...
分类：
系统相关 时间：
2017-08-13 22:19:09
阅读次数：
184
本章内容： 线程（线程锁、threading.Event、queue 队列、生产者消费者模型、自定义线程池） 进程（数据共享、进程池） 协程 线程 Threading用于提供线程相关的操作。线程是应用程序中工作的最小单元，它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的 ...
分类：
编程语言 时间：
2017-07-30 19:06:23
阅读次数：
181
进程间通信 进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的。 进程队列queue 不同于线程queue，进程queue的生成是用multiprocessing模块生成的。 在生成子进程的时候，会将代码拷贝到子 ...
分类：
编程语言 时间：
2017-07-28 20:04:11
阅读次数：
213
进程间通信 进程彼此之间互相隔离，要实现进程间通信（IPC），multiprocessing模块支持两种形式：队列和管道，这两种方式都是使用消息传递的。 进程队列queue 不同于线程queue，进程queue的生成是用multiprocessing模块生成的。 在生成子进程的时候，会将代码拷贝到子 ...
分类：
编程语言 时间：
2017-07-24 17:29:31
阅读次数：
198
队列(queue) 队列只在多线程里有意义，是一种线程安全的数据结构。 get与put方法 join与task_done方法 '''此包中的常用方法(q = Queue.Queue()):q.qsize() 返回队列的大小q.empty() 如果队列为空，返回True,反之Falseq.full() ...
分类：
编程语言 时间：
2017-07-22 11:05:26
阅读次数：
221
为什么用进程池创建的进程不能用MultiProcessing Queue实现进程间通信，而Manager类就可以。MultiProcessing Process方法创建的进程与MultiProcessing Pool创建的进程有何不同？ ...
分类：
编程语言 时间：
2017-07-19 14:26:05
阅读次数：
128
最近正在学习Python中的异步编程，看了一些博客后做了一些小测验：对比asyncio+aiohttp的爬虫和asyncio+aiohttp+concurrent.futures(线程池/进程池)在效率中的差异，注释：在爬虫中我几乎没有使用任何计算性任务，为了探测异步的性能，全部... ...
分类：
编程语言 时间：
2017-07-17 23:58:07
阅读次数：
456
首先介绍一个概念“池化技术 ”。池化技术 一言以蔽之就是：提前保存大量的资源，以备不时之需以及重复使用。 池化技术应用广泛，如内存池，线程池，连接池等等。内存池相关的内容，建议看看Apache、Nginx等开源web服务器的内存池实现。 起因：由于在实际应用当中，分配内存、创建进程、线程都会设计到一 ...
分类：
编程语言 时间：
2017-07-14 23:59:34
阅读次数：
477
