前言 emmmm python简单图片抓取 1 import requests 2 import threading 3 import queue 4 from subprocess import Popen,PIPE 5 from bs4 import BeautifulSoup as bs 6 ...
分类：
编程语言 时间：
2020-01-22 11:19:26
阅读次数：
88
增加多线程抓取数据，增加url判断，若数据已抓取，不在重复抓取 （可参考URL管理器） 需要再添加上队列,否则全开 from lxml import etree import requests import time import os import random import urllib3 fr ...
分类：
编程语言 时间：
2020-01-20 18:54:59
阅读次数：
79
Python 3.9.0 alpha 1 发布了，这是 3.8 之后的首个 3.9 系列版本。 ！ 官方没有介绍新特性，也没有添加新模块，但是以下模块有所改进： ast asyncio curses fcntl os threading venv pathlib pprint importlib s ...
分类：
编程语言 时间：
2020-01-20 14:49:30
阅读次数：
82
[TOC] 所需知识 阻塞 线程的运行状态：运行 阻塞 就绪 运行 影响效率 非阻塞 线程的运行状态：运行 就绪 运行 同步 提交一个任务，等待他执行完毕 只有提交的任务执行完毕才能执行其他操作 影响效率 异步 只管提交，不等待他执行完毕 可以直接进行其他操作 IO步骤 1. 数据等待阶段 2. 从 ...
分类：
其他好文 时间：
2020-01-19 12:22:18
阅读次数：
65
流畅的Python书中的协程部分版本太低，而且讲的比较少，这次根据Python3标准库书中实例来学习记录asyncio的使用。 asyncio模块提供了使用次饿成构建并发应用的工具。threading模块通过应用线程并发，mutilprocessing使用系统进程实现并发，asyncio则使用一个单 ...
分类：
其他好文 时间：
2020-01-19 09:15:50
阅读次数：
77
"""multiprocessing提供了threading包中没有的IPC（进程间通信），效率上更高。应优先考虑Pipe和Queue，避免使用Lock/Event/Semaphore/Condition等同步方式（因为它们占据的不是用户进程的资源）。multiprocessing包中有Pipe类和 ...
分类：
其他好文 时间：
2020-01-19 00:31:47
阅读次数：
107
[TOC] （一）_thread模块实现多线程（已不推荐使用） 没有控制进程结束机制 只有一个同步原语（锁） （二）threading模块 threading.Thread join()让主线程等待 自定义Mythread （三）锁 threading.Lock() with语法 （四）队列 Que ...
分类：
编程语言 时间：
2020-01-15 00:04:53
阅读次数：
108
using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Text; using System.Threading; using System.Threading.... ...
分类：
其他好文 时间：
2020-01-13 21:30:47
阅读次数：
69
上次我们讲到了集合。说到集合，那往往少不了循环。今天我们说下什么是并行循环 Parallel.For，Paraller.Foreach (System.Threading.Tasks) 相信大家对此都不陌生。 long sum = 0; Parallel.For(0, MaxValue, (i) = ...
分类：
其他好文 时间：
2020-01-12 22:06:28
阅读次数：
123
并发编程 多线程之——threa模块 >>> import time >>> time.ctime() 'Thu Jan 9 07:52:57 2020' import time """单线程示例 """ def worker(n): print(f'函数执行开始于:{time.ctime()}') ...
分类：
其他好文 时间：
2020-01-12 15:24:04
阅读次数：
83
