1.scrapy中间件 下载中间件Downloader Middlewares 下载器中间件处理请求与响应，对应两个方法 process_request(self, request, spider) 每个request通过下载器中间件时，该方法被调用 process_response(self, r ...
分类：
其他好文 时间：
2019-04-27 19:49:24
阅读次数：
124
简介 ? Scrapy一个开源和协作的框架，其最初是为了页面抓取所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se ...
分类：
其他好文 时间：
2019-04-17 15:07:41
阅读次数：
108
好久没有给大家分享有关百度网盘的加速工具了，最近有小伙伴反馈很多第三方开发的辅助加速软件不管用了，就算办了会员速度还是慢不说，有的朋友连账号都被封了。确实，隔三差五的失效，自己用着也心慌，何况里面有着上百G自己的财富。 不过没关系，我最近在Github上面发现了一个不错的下载器，走的是P2P的方法， ...
分类：
其他好文 时间：
2019-04-04 20:31:39
阅读次数：
231
Arcgis的二维地图瓦片有两种获取方式 1、在Arcmap中对配置好的地图进行切图，生成对应瓦片 2、使用第三方的地图下载器，直接下载，导出成arcgis瓦片格式即可使用。 备注：这里主要介绍第二种获取的方式，方法1见arcgis的帮助文档 ①下载安装水经注地图下载器 ②这里选择高德矢量地图作为数 ...
分类：
其他好文 时间：
2019-03-18 15:19:51
阅读次数：
865
一.概要 scrapy下载中间件 UA池 代理池 二. 详情 1.框架图: 下载中间件(Downloader Middlewares)位于scrapy引擎和下载器之间的一层组件 2.作用: (1). 引擎将请求传递给下载器过程中,下载中间件可以对请求进行一系列处理,比如设置请求的User-Agent ...
分类：
其他好文 时间：
2019-03-18 10:23:32
阅读次数：
351
主要是使用stdout.write 和 flush方法实现了一个控制台信息尾部刷新的效果 ...
分类：
编程语言 时间：
2019-03-17 14:05:51
阅读次数：
177
并发下载原理 运行结果 从上能够看到是先发送的获取baidu的相关信息，然后依次是itcast、itheima，但是收到数据的先后顺序不一定与发送顺序相同，这也就体现出了异步，即不确定什么时候会收到数据，顺序不一定 实现多个视频下载 上面的url可以换为自己需要下载视频、音乐、图片等网址 ...
分类：
其他好文 时间：
2019-03-04 09:20:29
阅读次数：
128
1） 第一种是众所周知的方法，在URL的 bilibili 前加个 i, 就可以有视频的mp4的地址，然后用下载器下载。 比如 想 下载 https://www.bilibili.com/video/av16988573 可以输入URL 就可以得到 MP4的地址： 2） Chrome的develop ...
分类：
其他好文 时间：
2019-02-16 21:59:32
阅读次数：
643
使用 multiprocessing 里的 Queue() ...
分类：
系统相关 时间：
2019-02-14 15:07:03
阅读次数：
191
使用代理池跑爬虫时，特别关注每个请求是否使用了代理，所以就有了接下来的收获，也有个问题同大家分享。 spider产生请求，例如在for循环中yield，这个生成器会在进入middlewares或下载器之前就被迭代，放入请求队列。 经过middlewares，队列中每个请求均被处理（如设置cookie ...
分类：
其他好文 时间：
2019-02-13 11:00:10
阅读次数：
191
