设置下载中间件（Downloader Middlewares） 下载中间件是处于引擎(crawler.engine)和下载器(crawler.engine.download())之间的一层组件，可以有多个下载中间件被加载运行。 当引擎传递请求给下载器的过程中，下载中间件可以对请求进行处理 （例如增加 ...
分类：
编程语言 时间：
2019-12-25 13:09:56
阅读次数：
88
多线程爬虫 先回顾前面学过的一些知识 1.一个cpu一次只能执行一个任务，多个cpu同时可以执行多个任务2.一个cpu一次只能执行一个进程，其它进程处于非运行状态3.进程里包含的执行单元叫线程，一个进程可以包含多个线程4.一个进程的内存空间是共享的，每个进程里的线程都可以使用这个共享空间5.一个线程 ...
分类：
编程语言 时间：
2019-12-25 11:34:37
阅读次数：
83
爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spider) 之间恢宏壮阔的斗争... 小莫想要某站上所有的电影，写了标准的爬虫(基于HttpClient库)，不断地遍历某站的电影列表页面，根据 Html 分析电影名字存进自己的数据库。 这个站点的运维小黎发现 ...
分类：
编程语言 时间：
2019-12-25 11:34:21
阅读次数：
87
很多时候呢，我们都是读取本地HTML文件来进行爬虫练手，但每次都要手打不同的HTML明显耗时耗力； 还有些小伙伴不喜欢F12，偏偏喜欢在Pycharm中查看HTML的源代码； …… 难道每次都只能“复制——新建——粘贴——保存”一条龙服务吗？ 不不不，我们还有Python的第三方库—— 。 urll ...
分类：
编程语言 时间：
2019-12-25 10:20:02
阅读次数：
112
如果一个网站采用前端渲染，那么这个网站的前端会访问后端的一些接口，然后拿到后端向前端返回的数据（一般都是Json类型，Json对象的本质其实是一个bytes字节流，但我们可以通过转码的方式，把它转成str），再把Json数据交给JS，JS对其进行解析，最终渲染页面。 这就是前端渲染的一个流程。 很多 ...
分类：
编程语言 时间：
2019-12-25 10:18:39
阅读次数：
145
关注：程序运行速度 >主要是由cpu（大脑）来决定。 想要提高程序的运行速度 >提高cpu利用率。 提高cpu的利用率由两种途径： 1、让cpu不休息。cup每时每刻都在处理任务，这个任务可以理解为线程。这种情况就叫做多线程。 2、cpu都是分核。每个核就是一个小脑袋。可以理解一心多用。让每个核都作 ...
分类：
编程语言 时间：
2019-12-24 10:13:01
阅读次数：
86
一、 强制等待 第一种也是最简单粗暴的一种办法就是强制等待sleep(xx)，强制让闪电侠等xx时间，不管凹凸曼能不能跟上速度，还是已经提前到了，都必须等xx时间。 1 from selenium import webdriver 2 from time import sleep 3 driver ...
分类：
编程语言 时间：
2019-12-24 09:39:15
阅读次数：
71
人生苦短，我用 Python 前文传送门： "小白学 Python 爬虫（1）：开篇" "小白学 Python 爬虫（2）：前置准备（一）基本类库的安装" "小白学 Python 爬虫（3）：前置准备（二）Linux基础入门" "小白学 Python 爬虫（4）：前置准备（三）Docker基础入门" ...
分类：
编程语言 时间：
2019-12-24 09:31:23
阅读次数：
73
原理：我的上篇博客 import requests import time from bs4 import BeautifulSoup def get_html(url): ''' 获得 HTML ''' headers = { 'user-agent': 'Mozilla/5.0 (Windows ...
分类：
编程语言 时间：
2019-12-23 13:26:11
阅读次数：
82
一、反爬策略 1、请求头 ——user-agent ——referer ——cookie 2、访问频率限制 ——代理池 ——再用户访问高峰期进行爬取，冲散日志。12-13 7-10 ——设置等待时长。time.sleep(3) 3、ajax异步请求，用接口获取数据 4、能一次性获取的数据，绝不发送第 ...
分类：
编程语言 时间：
2019-12-22 20:24:50
阅读次数：
127
