线程 一个人，他有三个思想。第一个思想是做饭，第二个思想是烧水，第三个思想是洗衣服。这三个思想就是三个线程。 一个人不能同时干三件事。这三个线程具有竞争性，谁赢了这个人就先做这件事。 比如做饭这个线程赢了，这个人就先做饭，做完饭后洗衣服这个线程赢了，这个人接着就洗衣服。。。 进程 有10个人，每个人 ...
分类：
编程语言 时间：
2020-07-08 09:16:03
阅读次数：
67
Python线程池与进程池 前言 前面我们已经将线程并发编程与进程并行编程全部摸了个透，其实我第一次学习他们的时候感觉非常困难甚至是吃力。因为概念实在是太多了，各种锁，数据共享同步，各种方法等等让人十分头痛。所以这边要告诉你一个好消息，前面的所有学习的知识点其实都是为本章知识点做铺垫，在学习了本章节 ...
分类：
编程语言 时间：
2020-07-04 01:43:48
阅读次数：
75
在执行python脚本的多进程程序时，会随机性的触发程序执行完，无法主动退出的情况。尤其是当进程数足够大时，处理的数据量足够多时。出现退出异常的概率越大。下面的脚本用于解决退出异常问题。 import argparse import requests import getpass from mult ...
分类：
编程语言 时间：
2020-06-20 21:28:54
阅读次数：
128
线程池-concurrent.futures模块 介绍 concurrent.futures模块提供了高度封装的异步调用接口 ThreadPoolExecutor：线程池，提供异步调用 ProcessPoolExecutor: 进程池，提供异步调用 方法 submit(fn, *args, **kw ...
分类：
编程语言 时间：
2020-06-06 21:45:10
阅读次数：
66
multiprocessing-Pool 进程池 进程池概念：定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空 ...
分类：
系统相关 时间：
2020-06-06 21:35:41
阅读次数：
91
工作中有时会需要用到shell去做并发执行某些需求，提供一个shell模拟进程池的并发脚本，供参考
分类：
系统相关 时间：
2020-06-05 14:43:17
阅读次数：
65
进程 进程，直观点说，保存在硬盘上的程序运行以后，会在内存空间里形成一个独立的内存体，这个内存体有自己独立的地址空间，有自己的堆。 上级挂靠单位是操作系统。操作系统会以进程为单位，分配系统资源（CPU时间片、内存等资源）。进程是资源分配的最小单位。 进程是线程的容器。程序是指令，数据及其组织形式的描 ...
分类：
编程语言 时间：
2020-06-02 13:19:58
阅读次数：
55
计算密集型的部分适合使用进程，耗时的部分适合使用线程 1 from multiprocessing import Pool 2 3 # 创建一个进程池，里面放5个进程 4 pool = Pool(5) 5 6 # 阻塞模式 7 pool.apply(task, args=(t,)) 8 9 # 非阻 ...
分类：
编程语言 时间：
2020-05-30 12:33:18
阅读次数：
80
1 """ 2 非阻塞模式：当进程池有空闲，就将任务放入，它会继续执行主进程 3 """ 4 import os 5 import time 6 from multiprocessing import Pool 7 from random import random 8 9 container = ...
分类：
编程语言 时间：
2020-05-30 12:24:07
阅读次数：
82
利用线程和线程池进行爬虫： 同步调用：即提交一个任务后就在原地等待任务结束，等到拿到任务的结果后再继续下一行代码，效率低下，调用一个任务，就在原地等待任务结束拿到结果后才继续往后执行。 解决方案一：使用多线程/多进程（不建议） 好处：在服务器端使用多线程（或多进程）的目的是让每个连接都拥有独立的线程 ...
分类：
其他好文 时间：
2020-05-15 11:45:15
阅读次数：
60
