前言 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 首先声明一点！ 多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作 ...
分类：
编程语言 时间：
2017-02-08 22:38:20
阅读次数：
339
在上一章中，学习了Python多进程编程的一些基本方法：使用跨平台多进程模块multiprocessing提供的Process、Pool、Queue、Lock、Pipe等类，实现子进程创建、进程池（批量创建子进程并管理子进程数量上限）以及进程间通信。这一章学习下Python下的多线程编程方法。 一、 ...
分类：
编程语言 时间：
2017-01-14 18:58:21
阅读次数：
190
作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 在初步了解Python多进程之后，我们可以继续探索multiprocessing包中更加高级的工具。这些工具可以让我们更加便利地实现多进程。 进程池 进程池 (Process Poo ...
分类：
编程语言 时间：
2016-12-24 20:45:43
阅读次数：
204
作者：Vamei 出处：http://www.cnblogs.com/vamei 欢迎转载，也请保留这段声明。谢谢！ 我们已经见过了使用subprocess包来创建子进程，但这个包有两个很大的局限性：1) 我们总是让subprocess运行外部的程序，而不是运行一个Python脚本内部编写的函数。2 ...
分类：
编程语言 时间：
2016-12-24 20:31:16
阅读次数：
231
multiprocessing并非是python的一个模块，而是python中多进程管理的一个包，在学习的时候可以与threading这个模块作类比，正如我们在上一篇转载的文章中所提，python的多线程并不能做到真正的并行处理，只能完成相对的并发处理，那么我们需要的就是python的多进程来完成并 ...
分类：
编程语言 时间：
2016-12-24 16:34:23
阅读次数：
181
在Windows上可能遇到，开启的子进程不会关闭的问题 参考multiprocessing官方文档： Explicitly pass resources to child processes On Unix a child process can make use of a shared resou ...
日期 科目 状态 知识点 2016.12.10 subprocess OK 执行外部shell命令 2016.12.11 threading OK 线程池，Lock,适合IO密集型应用 2016.12.12 multiprocessing OK 进程池，pipe,queue，适合CPU密集型应用 ...
分类：
其他好文 时间：
2016-12-13 10:07:14
阅读次数：
167
=========================================================环境：python2.7、pyqt4、eric16.11热点：multiprocessing、threading、GUI、pyqt需求：希望界面上的QTextEdit控件可以滚动刷新日志... ...
分类：
其他好文 时间：
2016-12-03 00:56:25
阅读次数：
299
15.1multiprocessingmultiprocessing是多进程模块，多进程提供了任务并发性，能充分利用多核处理器。避免了GIL（全局解释锁）对资源的影响。有以下常用类：类描述Process(group=None,target=None,name=None,args=(),kwargs={})派生一个进程对象，然后调用start()方法启动Pool(p..
分类：
编程语言 时间：
2016-11-23 17:09:04
阅读次数：
402
上篇博文介绍了Python的multiprocessing模块创建进程Process类,进程间通信,进程间的同步三个部分，下面接着介绍学习进程共享。（1）内存共享在多进程情况下，由于每个进程有自己独立的内存空间，怎样能实现内存共享呢？multiprocessing模块提供了Value,Array，这两个是函数，详..
分类：
编程语言 时间：
2016-11-21 02:23:16
阅读次数：
514
