码迷,mamicode.com
首页 > 编程语言 > 详细

Python 多进程编程之multiprocessing--Pool

时间:2018-02-08 00:23:27      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:bsp   load   join()   tpi   rgs   阻塞   main   目录   async   

Python 多进程编程之multiprocessing--Pool

----当需要创建的子进程数量不多的时候,可以直接利用multiprocessing 中的Process 动态生成多个进程,

----但是,如果是成百上千个任务,手动创建的话,工作量会很大,此时就会用到multiprocessing 下的Pool

----初始化Pool 时,可以指定一个最大的进程数,当背后的请求提交到Pool 中时,如果池子没有满,那么就会创建一个新的进程来执行该请求. 如果满了(池子中的进程以及达到最大进程数)那么该请求就会等待,直到池子中有进程结束,才会创建新的进程来执行.

from multiprocessing import Pool
import os,time,random

#定义一个函数
def download(i):
    print("(%d)--ID号为:%d的进程开始执行"%(i,os.getpid()))
    t_start = time.time()

    time.sleep(random.random()*10)

    t_stop = time.time()
    print("(%d)---ID:%d执行完毕,耗时%f秒!"%(i,os.getpid(),t_stop-t_start))


if __name__ == "__main__":
    po = Pool(3)#定义一个进程池,最大进程的数量
    for i in range(10):

        #每次循环将会用空闲出来的子进程去调用目录--同步(自加阻塞)
        #po.apply(func=download,args=(i,))

        #每次循环将会用空闲出来的子进程去调用目录--异步
        po.apply_async(func=download,args=(i,))

    print("----start----")
    po.close()#关闭进程池,关闭后po就不再接收您的请求。
    po.join() #等待po中所有的子进程执行完成,必需放在close之后。
        
    print("----end------")
  •  添加join()的原因是,
    ----此方法可能不会在页面打印除任何内容,因为一次执行3个进程
    ----3个进程执行的时间相差极为短暂,会在打印页面引起冲突,所以不会有任何内容输出
  • po.apply(func=download,args=(i,)) 执行的结果如下:你会发现是每次执行一个进程.
  • (0)id号为:25334的进程开始执行
    (0)id号25334执行完毕,耗时3.866196秒
    (1)id号为:25335的进程开始执行
    (1)id号25335执行完毕,耗时3.393492秒
    (2)id号为:25333的进程开始执行
    (2)id号25333执行完毕,耗时9.758717秒
    (3)id号为:25334的进程开始执行
    (3)id号25334执行完毕,耗时0.150672秒
    (4)id号为:25335的进程开始执行
    (4)id号25335执行完毕,耗时8.498094秒
    (5)id号为:25333的进程开始执行
    (5)id号25333执行完毕,耗时9.061761秒
    (6)id号为:25334的进程开始执行
    (6)id号25334执行完毕,耗时8.845187秒
    (7)id号为:25335的进程开始执行
    (7)id号25335执行完毕,耗时6.623793秒
    (8)id号为:25333的进程开始执行
    (8)id号25333执行完毕,耗时2.530908秒
    (9)id号为:25334的进程开始执行
    (9)id号25334执行完毕,耗时9.739911秒
    ------start-------
    ------end----------
    

     

  •   po.apply_async(func=download,args=(i,))   执行的结果如下:你会发现开始是执行3个进程,之后只要有进程结束,等待的进程就会执行
  • ------start-------
    (1)id号为:25313的进程开始执行
    (2)id号为:25314的进程开始执行
    (0)id号为:25315的进程开始执行
    (0)id号25315执行完毕,耗时0.853286秒
    (3)id号为:25315的进程开始执行
    (3)id号25315执行完毕,耗时5.674426秒
    (4)id号为:25315的进程开始执行
    (4)id号25315执行完毕,耗时1.449967秒
    (5)id号为:25315的进程开始执行
    (1)id号25313执行完毕,耗时9.333982秒
    (6)id号为:25313的进程开始执行
    (2)id号25314执行完毕,耗时9.982127秒
    (7)id号为:25314的进程开始执行
    (5)id号25315执行完毕,耗时2.919765秒
    (8)id号为:25315的进程开始执行
    (7)id号25314执行完毕,耗时2.520782秒
    (9)id号为:25314的进程开始执行
    (6)id号25313执行完毕,耗时6.414589秒
    (9)id号25314执行完毕,耗时7.013178秒
    (8)id号25315执行完毕,耗时9.927967秒
    ------end----------
    

     

Python 多进程编程之multiprocessing--Pool

标签:bsp   load   join()   tpi   rgs   阻塞   main   目录   async   

原文地址:https://www.cnblogs.com/Fantinai/p/8428579.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!