本文主要对比测试Python的多线程和多进程模块在CPU类型和I/O的任务操作时的效率一测试CPU消耗类型任务在一台多核CPU的服务器上执行多线程代码，理论上代码执行时会利用多余的CPU核心来提升性能。但是由于Python的GIL的存在，使用多线程来执行CPU繁重的任务，未必能得到性能提升..
分类：
编程语言 时间：
2016-03-13 06:40:43
阅读次数：
194
#!/usr/bin/env python # -*- coding:utf-8 -*- from multiprocessing import Pool import time def f(x): time.sleep(1) print x return x*x if __name__ == '_
分类：
编程语言 时间：
2016-03-10 12:36:25
阅读次数：
283
xpath的多线程爬虫 #encoding=utf-8 ''' pool = Pool(4) cpu的核数为4核 results = pool.map(爬取函数，网址列表) ''' from multiprocessing.dummy import Pool as ThreadPool import
分类：
其他好文 时间：
2016-03-06 12:52:33
阅读次数：
154
之前两篇文章讨论了进程意外退出时，如何杀死子进程，这节我们研究下在使用进程池multiprocessing.Pool时，如何保证主进程意外退出，进程池中的worker进程同时退出，不产生孤儿进程。如果对python标准库进程池不清楚的园友，可以看下之前写的几篇文章。我们尝试下主进程中使用进程池，看看
分类：
系统相关 时间：
2016-02-19 00:24:43
阅读次数：
585
在Python中，由于全局解释器锁GIL的存在，使得Python中的多线程并不能大大提高程序的运行效率（这里单指CPU密集型），那么在处理CPU密集型计算时，多用多进程模型来处理，而Python标准库中提供了multiprocessing库来支持多进程模型的编程。multiprocessing中提供
分类：
系统相关 时间：
2016-02-10 23:17:29
阅读次数：
2138
在节前的最后一天，解决了打包过程中遇到的所有问题，可以成功运行了！真是个好彩头，希望新的一年一切顺利！ 以下是在使用cx_freeze过程中遇到的问题及解决办法(Win7) 问题描述：运行exe，启动无数个主程序，导致系统无法使用 原因：在程序中使用了multiprocessing的包 解决办法：在
分类：
编程语言 时间：
2016-02-06 18:19:03
阅读次数：
253
多进程旧式写法 from multiprocessing import Pool def f(x): return x*x if __name__ == '__main__': p = Pool(5) print(p.map(f,[1,2,3])) 多进程新式写法 from multiprocess
分类：
系统相关 时间：
2016-01-29 20:47:04
阅读次数：
355
前言：项目中有个需求需要对产品的日志处理，按照产品中日志的某些字段，对日志进行再次划分。比如产品的日志中含有字段id,tag=1,现在需要把tag是基数的放到一个文件中，tag是偶数的放入一个文件中。这就涉及到多个文件的读写操作，一个文件一个文件读取写入那时间太久了，公司配备的单机，跑了半个多小时，
分类：
编程语言 时间：
2016-01-29 16:23:10
阅读次数：
246
(1)multiprocessing支持子进程、通信和共享数据、执行不同形式的同步。(2)Process创建进程的类：Process([group [, target [, name [, args [, kwargs]]]]])，target表示调用对象，args表示调用对象的位置参数元组。kwa...
分类：
编程语言 时间：
2016-01-24 12:59:31
阅读次数：
160
一、主要思路scrapy爬取是有课程地址及名称使用multiprocessing进行下载就是为了爬点视频，所以是简单的代码堆砌想而未实行，进行共享的方式二、文件说明itemsscray字段piplines.py存储数据库setting.py scrapy配置 需要注意的是DEFAULT_REQUES...
分类：
编程语言 时间：
2016-01-18 20:45:58
阅读次数：
211
