今天给大家分享一个使用java编写的开源多线程下载器， 利用它，我们就可以满速下载百度云文件。1、首先下载proxyee-down，你电脑上已经安装了Java环境，那么就可以直接下载JAR版本的，如果没装也下载win32或win64的版本。下载地址:https://github.com/monkey ...
分类：
其他好文 时间：
2018-05-22 16:42:33
阅读次数：
637
更新说明： 1、精简POI的关键字2、POI导出SHP属性表包含分类信息3、POI爬取支持多线程4、解决运行时界面卡死问题（POI下载除外）5、修正道路与小区面SHP爬取时范围过大问题6、新增学校面SHP爬取 想了很久，还是决定把代码开源，毕竟人多力量大，是不是？ 代码已开源至：https://gi ...
分类：
其他好文 时间：
2018-05-19 14:40:52
阅读次数：
3374
下载中间件 下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统 编写您自己的下载器中间件 每个中间件组件是一个定义了以下一个或多个方法的Python类 使用中间件随机选择头部信息 爬取天 ...
分类：
其他好文 时间：
2018-05-18 01:25:38
阅读次数：
207
中间件 注意：这些中间件都放在middleware中 下载中间件 作用 实例： 代理被封，添加代理 方式一：内置添加代理功能 import os # -*- coding: utf-8 -*- import os import scrapy from scrapy.http import Reque ...
分类：
其他好文 时间：
2018-05-17 23:21:25
阅读次数：
371
爬虫的定义 爬虫：按照一定的规则，自动抓取互联网信息的程序或者脚本，从而获取对于我们有价值的信息。 爬虫的两大特征 爬虫的三大步骤 爬虫的分类 爬虫的结构 Python爬虫架构主要由五个部分组成，分别是调度器、URL管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。 爬虫的执行流程 爬虫 ...
分类：
其他好文 时间：
2018-05-09 22:34:24
阅读次数：
171
'''爬虫的构成下载器： 抓取页面 urllib equests selenium + webdriver解析器： 解释并提取页面元素 BeautifulSoup4 PyQuery Xpath Regular Expression调度器：协调完成全部抓取任务 进程 线程 协程 分布式抓取处理器： 数 ...
分类：
其他好文 时间：
2018-05-09 12:17:19
阅读次数：
154
今天分享一个51单片机最小系统的电路板设计（原理图+PCB）技术手册上面对于51单片机最小系统作如下要求：下载电路主要有以下几种：采用RS-232转换器下载：（R1OUT—P3.0;T1IN—P3.1）:USB转串口型供电电路：U8-Mini进行ISP下载：现在常用的是冷启动下载器：电路结构较为简单... ...
分类：
其他好文 时间：
2018-04-27 13:45:10
阅读次数：
189
相信很多人都有书荒的时候，想要找到一本合适的书籍确实不容易，所以这次利用刚学习到的知识爬取豆瓣网的各类书籍，传送门https://book.douban.com/tag/?view=cloud。 首先是这个程序的结构，html_downloader是html下载器，html_outputer是导出到 ...
分类：
其他好文 时间：
2018-04-19 21:58:04
阅读次数：
653
Wget - The non-interactive network downloader。非交互式网络下载器wget非常稳定，它在带宽很窄的情况下和不稳定网络中有很强的适应性，如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。语法：wget URL实例
分类：
其他好文 时间：
2018-04-19 10:33:06
阅读次数：
161
一、简单爬虫框架 简单爬虫框架由四个部分组成：URL管理器、网页下载器、网页解析器、调度器，还有应用这一部分，应用主要是NLP配合相关业务。 它的基本逻辑是这样的：给定一个要访问的URL，获取这个html及内容（也可以获取head和cookie等其它信息），获取html中的某一类链接，如a标签的hr ...
分类：
编程语言 时间：
2018-04-15 16:13:55
阅读次数：
256
