一、开发环境配置-python3和相关库 二、开发环境配置-安装数据库 三、开发环境配置-存储库、Web库、App爬取相关库 四、爬虫框架安装 五、HTTP基本原理、网页基础 六、爬虫基本原理、代理 七、urllib库（一）发请求 八、urllib库（二）处理异常 九、urllib库（三）解析链接 ...
分类：
编程语言 时间：
2018-06-03 23:27:45
阅读次数：
190
小编收集了一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。项目地址：https://scrapy.org/2.PySpiderpyspider 是一个用python实现的功能强大的网络爬虫系统，能
分类：
编程语言 时间：
2018-05-31 13:44:08
阅读次数：
201
在使用Scrapy框架进行爬虫时，执行爬虫文件的方法是 scrapy crawl xxx ，其中 xxx 是爬虫文件名。 但是，当我们在建立了多个文件时，使用上面的命令时会比较繁琐麻烦，我们就可以使用下述方法同时完成爬虫文件的执行。 第一种，在scrapy框架下建立一个运行文件，如 run.py ， ...
分类：
其他好文 时间：
2018-05-30 21:12:57
阅读次数：
216
第一 下载安装Beanbun框架 例如： 如图所示： 第二 简单下载网页的例子 注意：可以以普通模式运行和以守护模式运行； 若以普通模式运行，则直接使用命令 php start.php即可，程序顺序执行，程序运行完成则自动结束 若依守护模式运行，则只能在linux操作系统中执行；开始使用php st ...
分类：
Web程序 时间：
2018-05-26 12:57:20
阅读次数：
1268
前言 17年底，买了清华大学出版社出版的《Hadoop权威指南》（第四版）学习，没想到这本书质量之差，超越我的想象，然后上网一看，也是骂声一片。从那个时候其就对出版社综合实力很感兴趣，想通过具体数据分析各个出版社的出版质量，另外借此也可以熟悉大数据生态和相关操作。 豆瓣上的书籍数据刚好可以满足需求， ...
分类：
其他好文 时间：
2018-05-20 18:08:49
阅读次数：
1029
ITEM PIPELINE用法详解： ITEM PIPELINE作用： 清理HTML数据 验证爬取的数据(检查item包含某些字段) 去重(并丢弃)【预防数据去重，真正去重是在url,即请求阶段做】 将爬取结果保存到数据库中 ITEM PIPELINE核心方法（4个） （1）、open_spider ...
分类：
其他好文 时间：
2018-05-19 00:18:15
阅读次数：
228
前言：（本文参考维基百科及百度百科所写） 当我们使用爬虫抓取数据时，有时会产生错误比如：突然跳出来了403 Forbidden 或者网页上出现以下提示：您的ip访问频率太高 或者时不时跳出一个验证码需要你输入，这是由于网站采取了反爬虫措施：服务器会检查某个固定的ip在单位时间内请求的次数，如果发现请 ...
分类：
其他好文 时间：
2018-05-15 21:14:25
阅读次数：
208
看到了吗？星星数排名第一的Scrapy比其他所有的加起来都要多，我仿佛听到他这样说： 优点： 极其灵活的定制化爬取。 社区人数多、文档完善。 URL去重采用布隆过滤器方案。 可以处理不完整的HTML，Scrapy已经提供了selectors（一个在lxml的基础上提供了更高级的接口），可以高效地处理 ...
分类：
其他好文 时间：
2018-05-14 19:48:04
阅读次数：
137
Python3环境安装Scrapy爬虫框架过程 1. 安装wheel pip install wheel 安装检查： 2. 安装lxml pip install lxml-4.2.1-cp36-cp36m-win_amd64.whl 去https://www.lfd.uci.edu/~gohlke/ ...
分类：
编程语言 时间：
2018-05-14 11:01:32
阅读次数：
359
1、What is Scrapy? 答：Scrapy是一个使用python语言（基于Twistec框架）编写的开源网络爬虫框架，其结构清晰、模块之间的耦合程度低，具有较强的扩张性，能满足各种需求。（前面我们介绍了使用requests、beautifulsoup、selenium等相当于你写作文题，主 ...
分类：
系统相关 时间：
2018-05-12 16:15:24
阅读次数：
215
