平时写爬虫的时候并不需要设置setting里所有的参数，今天心血来潮，花了点时间查了一下setting模块创建后自动写入的所有参数的含义，记录一下。 模块相关说明信息 项目名字和爬虫模块说明，引擎根据这个信息找到爬虫 浏览器的USER_AGENT，可以自定义伪装。 是否遵守robots协议，默认是遵 ...
分类：
其他好文 时间：
2017-11-15 21:55:20
阅读次数：
1647
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSp ...
分类：
编程语言 时间：
2017-11-12 16:29:26
阅读次数：
168
【转】使用webmagic搭建一个简单的爬虫 刚刚接触爬虫，听说webmagic很不错，于是就了解了一下。 webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。 这句话说的真的一点都不假，像我这样什么都不懂的人直接下载部署，看了看可以调用的 ...
分类：
Web程序 时间：
2017-11-10 16:50:52
阅读次数：
275
参考手册：http://phaethon.github.io/scapy/api/usage.htmlscapy是python的一个库,提供网络协议的构造,请求等scrapy是python的爬虫框架三个层次：1、理解协议2、分析协议3、构造协议脚本语言无需编译直接运行，非常简单的学习就能入门和上手，但是性能较差。scapy可以发送、捕..
分类：
编程语言 时间：
2017-11-09 14:28:04
阅读次数：
226
提问： 为什么使用scrapy框架来写爬虫 ？ 在python爬虫中：requests + selenium 可以解决目前90%的爬虫需求，难道scrapy 是解决剩下的10%的吗？显然不是。scrapy框架是为了让我们的爬虫强大高效。接下来我们一起学习一下它吧。 1.scrapy 的基础概念： s ...
分类：
其他好文 时间：
2017-11-06 22:57:56
阅读次数：
284
开发环境 1.在官网下载并且安装python 2.7 2. Python | 开发环境IDE PyCharm配置 3谷歌浏览器 4.爬虫框架Scrapy 地址:https://sourceforge.net/projects/pywin32/ 其它可能依赖的安装包：lxml-3.6.4-cp27-c ...
分类：
其他好文 时间：
2017-11-06 12:40:37
阅读次数：
138
还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。 mi ...
分类：
编程语言 时间：
2017-10-30 18:22:41
阅读次数：
163
Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 网络爬虫要做的，简单来说， ...
分类：
其他好文 时间：
2017-10-28 19:04:09
阅读次数：
195
一、Scrapy简介与部署环境Scrapy是一个为了爬取网站数据，提取结构性数据而编写的第三方爬虫框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。最初是为了页面抓取(更确切来说,网络抓取)所设计的，也可以应用在获取API所返回的数据(例如AmazonAssociates..
分类：
系统相关 时间：
2017-10-24 16:05:46
阅读次数：
1464
学习爬虫有一段时间了，今天使用Scrapy框架将校花网的图片爬取到本地。Scrapy爬虫框架相对于使用requests库进行网页的爬取，拥有更高的性能。 Scrapy官方定义：Scrapy是用于抓取网站并提取结构化数据的应用程序框架，可用于广泛的有用应用程序，如数据挖掘，信息处理或历史存档。 建立S ...
分类：
其他好文 时间：
2017-10-23 01:14:38
阅读次数：
307
