码迷,mamicode.com
首页 > 编程语言 > 详细

python 多进程

时间:2019-09-14 00:27:51      阅读:83      评论:0      收藏:0      [点我收藏+]

标签:使用   默认   window   需要   事件   res   解决   values   def   

多进程

python中创建进程模块为:multiprocessing

进程之间数据不是共享的

注意:windowns下进程运行会报错,linux mac 不会出现此问题。解决方法:

将进程启动代码放到main里即可执行,示例代码:

import multiprocessing

def task(arg):
    print(arg)

def run():
    for i in range(10):
        # 实例化一个进程
        process = multiprocessing.Process(target=task,args=(i,)) 
        # 进程启动
        process.start()

if __name__ == '__main__':
    run()  # main下才能正确执行,不然会报错

进程常用方法:

  • join():和线程一样,默认会等子进程执行完毕后,代码才会继续往下执行
  • daemon:
    • True 为 主进程执行完代码,程序会直接结束,不会等待子进程执行完毕
    • False为:主进程执行完毕后,会等待子进程执行完毕
  • name:为进程起一个名称
  • multiprocessing.current_process() :获取当前进程
  • ident/pid:获取当前进程的ID号

示例代码:

import time
import multiprocessing

def task(arg):
    p = multiprocessing.current_process() # 获取当前进程
    print(p.name) # 打印当前进程名称
    print(p.ident) # 获取当前进程的ID号
    print(p.pid) # 获取当前进程的ID号
    time.sleep(2)
    print(arg)

def run():
    print('11111111')
    #### 进程一
    process1 = multiprocessing.Process(target=task,args=(1,))
    # False 主进程执行完毕后,会等待子进程执行完毕
    # True 为不等待子进程执行完毕,主进程执行完毕后,程序就会结束
    process1.daemon = False
    # 为当前进程起一个名称
    process1.name = 'proc1'
    process1.start()
    # 默认会等进程执行完毕后,代码才会继续往下执行
    process1.join()
    
    print('22222222')
    
    #### 进程二
    process2 = multiprocessing.Process(target=task, args=(2,))
    process2.daemon = False
    process2.name = 'proc2'
    process2.start()
    process2.join()
    
    print('33333333')

if __name__ == '__main__':
    run()

类继承方式创建进程(示例代码如下:)

##################### 类继承方式创建进程  #####################
import multiprocessing

class MyProcess(multiprocessing.Process):
    def run(self):
        print('当前进程', multiprocessing.current_process())

def run():
    t1 = MyProcess()
    t1.start()

    t2 = MyProcess()
    t2.start()

if __name__ == '__main__':
    run()

进程之间的数据共享

multiprocessing.Queue(列表数据共享)

windows下执行数据共享有点问题,所以使用下面方法可以解决

  • 示例代码:
##################### 进程之间的数据共享 multiprocessing.Queue #####################
import multiprocessing

q = multiprocessing.Queue() # 数据共享可以使用的队列

def task(arg,q):
    q.put(arg)

def run():
    for num in range(10):
        proc = multiprocessing.Process(target=task,args=(num,q))
        proc.start()
    while True:
        v = q.get()
        print(v)

if __name__ == '__main__':
    run()

multiprocessing.Manger(字典数据共享)

linux mac下可以正常执行

示例代码:

import multiprocessing

m = multiprocessing.Manager()
dic = m.dict()

def task(arg):
    dic[arg] = 100

def run():
    for num in range(10):
        proc = multiprocessing.Process(target=task,args=(num,))
        proc.start()

    input('>>>')
    print(dic.values())

if __name__ == '__main__':
    run()

windowns:

  • 第一种方法
import multiprocessing

def task(arg,dic):
    dic[arg] = 100

if __name__ == '__main__':
    m = multiprocessing.Manager()
    dic = m.dict()

    for num in range(10):
        proc = multiprocessing.Process(target=task,args=(num,dic))
        proc.start()
        proc.join()  # 一个一个进程等待,执行完了,再执行下一个

    print(dic)
  • 第二种方法(linux也适用)
import time
import multiprocessing

def task(arg,dic):
    time.sleep(2)
    dic[arg] = 100

if __name__ == '__main__':
    m = multiprocessing.Manager()
    dic = m.dict()

    process_list = []
    for num in range(10):
        proc = multiprocessing.Process(target=task,args=(num,dic))
        proc.start()

        process_list.append(proc)

    while True:
        count = 0
        for p in process_list:
            if not p.is_alive():
                count += 1
        if count == len(process_list):
            break

    print(dic)

进程锁

概念:不管线程还是进程,锁都是一样的

什么时候用锁: 只有进程或线程操作同一个数据的时候才会进行加锁,如果各自做各自的是不需要加锁的

具体意义看多线程里的锁机制,和进程一样

多线程锁:https://www.cnblogs.com/Hybb/p/11512011.html

锁的方法

  • Lock(一次放行一个)
  • RLock 递归锁(一次放行多个)
  • BoundedSemaphore (一次放N个) 信号量
  • Condition (1次放x个数)动态输入
  • Event (事件)1次放所有

示例代码

import time
import multiprocessing

lock = multiprocessing.Lock()
lock = multiprocessing.RLock()
lock = multiprocessing.BoundedSemaphore()
lock = multiprocessing.Condition()
lock = multiprocessing.Event()

def task(arg):
    print('开始了')
    lock.acquire()
    time.sleep(2)
    print(arg)
    lock.release()

def run():
    for num in range(1,3):
        proc = multiprocessing.Process(target=task,args=(num,))
        proc.start()

if __name__ == '__main__':
    run()

进程池

使用的模块 concurrent.futures

和线程池是一样的

示例代码:

import time
# 导入进程池模块
from concurrent.futures import ProcessPoolExecutor

def task(arg):
    time.sleep(2)
    print(arg)

if __name__ == '__main__':
    # 创建一个进程池
    pool = ProcessPoolExecutor(5)
    for num in range(10):
        pool.submit(task,num)

python 多进程

标签:使用   默认   window   需要   事件   res   解决   values   def   

原文地址:https://www.cnblogs.com/Hybb/p/11517852.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!