码迷,mamicode.com
首页 > 编程语言 > 详细

Python之进程

时间:2018-05-23 23:37:37      阅读:223      评论:0      收藏:0      [点我收藏+]

标签:parent   详解   tail   pool   ...   ssi   退出   test   sse   

简单介绍

在搭建macaca并行测试的同时使用了Python多进程的方法,目的是想多台设备同时进行测试,如果等待一台设备单独跑完再进行下一个设备,想像一下有二十台设备的情况,跑完测试脚本那得需要很长时间呀?使用多进程方法确实方便很多,但是在使用过程中也发现了问题。我是使用三个模拟器和一台真机测试的,三个模拟器都跑完了,真机还没有开始,时间差距还是有的,可能是因为电脑的CPU核数不够吧。

 

实际操作

由于Python是跨平台的,自然也应该提供一个跨平台的多进程支持。multiprocessing模块就是跨平台版本的多进程模块。

一、Process

multiprocessing模块提供了一个Process类来代表一个进程对象,下面的例子演示了启动一个子进程并等待其结束:

代码如下:

from multiprocessing import Process

import os

# 子进程要执行的代码

def run_proc(name):

    print(‘Run child process %s (%s)...‘ % (name, os.getpid()))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Process(target=run_proc, args=(‘test‘,))

    print(‘Child process will start.‘)

    p.start()

    p.join()

    print(‘Child process end.‘)

结果如下:

Parent process 928.

Process will start.

Run child process test (929)...

Process end.

这里需要注意的是使用start()启动进程,join()方法可以等待子进程结束后再继续往下运行,通常用于进程间的同步。

二、Pool

我在构建macaca多进程的时候使用的是Pool方法,如果要启动大量的子进程,可以用进程池的方式批量创建子进程:

代码如下:

from multiprocessing import Pool

import os, time, random

def long_time_task(name):

    print(‘Run task %s (%s)...‘ % (name, os.getpid()))

    start = time.time()

    time.sleep(random.random() * 3)

    end = time.time()

    print(‘Task %s runs %0.2f seconds.‘ % (name, (end - start)))

if __name__==‘__main__‘:

    print(‘Parent process %s.‘ % os.getpid())

    p = Pool(4)

    for i in range(5):

        p.apply_async(long_time_task, args=(i,))

    print(‘Waiting for all subprocesses done...‘)

    p.close()

    p.join()

    print(‘All subprocesses done.‘)

结果如下:

Parent process 669.

Waiting for all subprocesses done...

Run task 0 (671)...

Run task 1 (672)...

Run task 2 (673)...

Run task 3 (674)...

Task 2 runs 0.14 seconds.

Run task 4 (673)...

Task 1 runs 0.27 seconds.

Task 3 runs 0.86 seconds.

Task 0 runs 1.41 seconds.

Task 4 runs 1.91 seconds.

All subprocesses done.

Pool类可以提供指定数量的进程供用户调用,当有新的请求提交到Pool中时,如果池还没有满,就会创建一个新的进程来执行请求。如果池满,请求就会告知先等待,直到池中有进程结束,才会创建新的进程来执行这些请求。 

下面介绍一下multiprocessing 模块下的Pool类下的几个方法:

apply()

函数原型:

apply(func[, args=()[, kwds={}]])

该函数用于传递不定参数,主进程会被阻塞直到函数执行结束(不建议使用,并且3.x以后不在出现)。

apply_async()

函数原型:

apply_async(func[, args=()[, kwds={}[, callback=None]]])

与apply用法一样,但它是非阻塞且支持结果返回进行回调。

map()

函数原型:

map(func, iterable[, chunksize=None])

Pool类中的map方法,与内置的map函数用法行为基本一致,它会使进程阻塞直到返回结果。 

注意,虽然第二个参数是一个迭代器,但在实际使用中,必须在整个队列都就绪后,程序才会运行子进程。

close()

关闭进程池(pool),使其不在接受新的任务。

terminate()

结束工作进程,不在处理未处理的任务。

join()

主进程阻塞等待子进程的退出,join方法必须在close或terminate之后使用。

 

参考:

多进程

Python 多进程 multiprocessing.Pool类详解

Python之进程

标签:parent   详解   tail   pool   ...   ssi   退出   test   sse   

原文地址:https://www.cnblogs.com/April-Chou-HelloWorld/p/9080129.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!