码迷,mamicode.com
首页 > 系统相关 > 详细

多进程编程

时间:2018-12-23 22:19:11      阅读:187      评论:0      收藏:0      [点我收藏+]

标签:完成   __name__   ogr   consumer   新建   ==   linux   close   ict   

先看一个示例:

import os

# fork只能用于linux/unix中
pid = os.fork()  # 给我们新建一个子进程
print("贾维斯")
if pid == 0:  # 实际上就是子进程
    print(子进程 {} ,父进程是: {}..format(os.getpid(), os.getppid()))
else:
    print(我是父进程:{}..format(pid))

运行如下:

贾维斯
我是父进程:24474
贾维斯
子进程24474,父进程是:24473

首先贾维斯运行了两次

为什么呢?

虽然fork了子进程,但是主进程依然会继续执行,子进程会将主进程的所有数据全部拷贝到子进程中去,包括代码的运行。所以进程之间的数据是完全的隔离的

import multiprocessing

#多进程编程
import time
def get_html(n):
    time.sleep(n)
    print("sub_progress success")
    return n


if __name__ == "__main__":
    progress = multiprocessing.Process(target=get_html, args=(2,))
    print(progress.pid)
    progress.start()
    print(progress.pid)
    progress.join()
    print("main progress end")

一定要注意,在Windows下面一定需要在if __name__ == "__main__":下面不然会报错

import multiprocessing

#多进程编程
import time
def get_html(n):
    time.sleep(n)
    print("sub_progress success")
    return n


if __name__ == "__main__":
    # progress = multiprocessing.Process(target=get_html, args=(2,))
    # print(progress.pid)
    # progress.start()
    # print(progress.pid)
    # progress.join()
    # print("main progress end")

    #使用线程池
    pool = multiprocessing.Pool(multiprocessing.cpu_count())
    # result = pool.apply_async(get_html, args=(3,))
    #
    # #等待所有任务完成
    # pool.close()
    # pool.join()
    #
    # print(result.get())

    #imap
    # for result in pool.imap(get_html, [1,5,3]):
    #     print("{} sleep success".format(result))

    for result in pool.imap_unordered(get_html, [1,5,3]):
        print("{} sleep success".format(result))

需要注意的是pool.join()必须在pool.closed,就是不让pool不再接收新的任务

join()是等待所有任务执行完成之后

2,进程间的通信:

共享全局变量不能适用于多进程编程,可以适用于多线程

使用Pine

#通过pipe实现进程间通信
#pipe的性能高于queue

# def producer(pipe):
#     pipe.send("bobby")
#
# def consumer(pipe):
#     print(pipe.recv())
#
# if __name__ == "__main__":
#     recevie_pipe, send_pipe = Pipe()
#     #pipe只能适用于两个进程
#     my_producer= Process(target=producer, args=(send_pipe, ))
#     my_consumer = Process(target=consumer, args=(recevie_pipe,))
#
#     my_producer.start()
#     my_consumer.start()
#     my_producer.join()
#     my_consumer.join()

# 这个是模仿线程共享变量通信使用Manager()方法 def add_data(p_dict, key, value): p_dict[key] = value if __name__ == "__main__": progress_dict = Manager().dict() from queue import PriorityQueue first_progress = Process(target=add_data, args=(progress_dict, "bobby1", 22)) second_progress = Process(target=add_data, args=(progress_dict, "bobby2", 23)) first_progress.start() second_progress.start() first_progress.join() second_progress.join() print(progress_dict)

使用队列

multiprocessing中的queue不能用于pool进程池
pool中的进程间通信需要使用manager中的queue

def producer(queue):
    queue.put("a")
    time.sleep(2)

def consumer(queue):
    time.sleep(2)
    data = queue.get()
    print(data)

if __name__ == "__main__":
    queue = Manager().Queue(10)
    pool = Pool(2)

    pool.apply_async(producer, args=(queue,))
    pool.apply_async(consumer, args=(queue,))

    pool.close()
    pool.join()

 

多进程编程

标签:完成   __name__   ogr   consumer   新建   ==   linux   close   ict   

原文地址:https://www.cnblogs.com/zhoulixiansen/p/10165621.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!