装饰器的用法比较简单，但是理解装饰器的原理还是比较复杂的，考虑到接下来的爬虫框架中很多用到装饰器的地方，我们先来讲解一下。 函数 我们定义了一个函数，没有什么具体操作，只是返回一个固定值 请注意一下缩进 作用域 函数内部的变量和函数外的变量是不同的 我们看一下下面的例子，locals()和globa ...
分类：
编程语言 时间：
2017-12-10 15:52:25
阅读次数：
211
Scrapy的安装 cmd命令提示符下： 执行pip install scrapy命令 maybe你会用到的指令或安装(如果用pip指令安装不了，你可以在CS N或 度里面找资源)： pip install Django install win32api install mysql python S ...
分类：
其他好文 时间：
2017-12-01 18:32:04
阅读次数：
223
scrapy的架构分析 1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2、Scheduler（调度） 调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求 ...
分类：
其他好文 时间：
2017-11-29 18:31:40
阅读次数：
121
Scrapy流程分析 Scrapy 是一个重型爬虫框架。主要分为5部分:引擎(Engine)、调度器(Scheduler)(这个不太熟悉)、下载器(Downloader) 、爬虫(Spider)、管道（Item Pipeline）。 流程图如下: scrapy流程图(自己瞎画的) 流程概述: 参考: ...
分类：
其他好文 时间：
2017-11-28 15:32:14
阅读次数：
90
第一周： 日期 任务 周一 go爬虫框架后台代码理解 周二 rorotine,go通道，defer实现机制，断言，文件操作，net/http包服务基本类型，函数的理解应用 周三 go爬虫框架细节理解实现 周四 页面A标签内容自动获取生成数据 周五 数据分类功能设计 周六 数据分类功能实现 周天 休息 ...
分类：
其他好文 时间：
2017-11-28 12:43:59
阅读次数：
181
背景： 刚开始学习scrapy爬虫框架的时候，就在想如果我在服务器上执行一个爬虫任务的话，还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务，但是我在这个爬行任务中，写了多个spider，重要的是我想让他们同时运行，怎么办？ 小白解决办法： 1、在spiders同目录 ...
分类：
编程语言 时间：
2017-11-26 21:03:47
阅读次数：
1644
Scrapy不是一个函数功能库，而是一个爬虫框架。爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。 1.scrapy爬虫框架结构 数据流向步骤1： 1 Engine从Spider处获得爬取请求(Request)2 Engine将爬取请求转发给S ...
分类：
其他好文 时间：
2017-11-19 19:46:58
阅读次数：
155
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As ...
分类：
其他好文 时间：
2017-11-19 14:17:35
阅读次数：
183
这里我们介绍一下python的分布式爬虫框架scrapy的安装以及使用。平庸这东西犹如白衬衣上的污痕，一旦染上便永远洗不掉，无可挽回。 scrapy的安装使用 我的电脑环境是win10，64位的。python版本是3.6.3。以下是安装以及学习scrapy的第一个安全。 一、scrapy的安装准备 ...
分类：
编程语言 时间：
2017-11-18 16:01:09
阅读次数：
208
Scrapy 是采用Python 开发的一个快速可扩展的抓取WEB 站点内容的爬虫框架。 Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于 ...
分类：
编程语言 时间：
2017-11-17 11:56:37
阅读次数：
313
