# -*- coding: utf-8 -*-"""语言版本：python：3.6.1scrapy：1.3.3功能：本蜘蛛主要演示如何爬取多个页面作者：cuanboy出处：http://www.scrapyd.cn （scrapy中文网）时间：2017年12月16日15:55:00运行：CMD模式进 ...
分类：
其他好文 时间：
2020-06-23 12:55:24
阅读次数：
48
1、.什么是Scrapy? Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载，队列，分布式，解析，持久化等)的具有很强通用性的项目模板。 2、环境安装： Linux安装： pip install scrap ...
分类：
编程语言 时间：
2020-06-23 01:03:35
阅读次数：
71
基于golang的爬虫实战 前言 爬虫本来是python的强项，前期研究过scrapy，也写过一些简单的爬虫小程序，但是后来突然对golang产生兴趣，决定写写爬虫练练手。由于本人golang萌新，有错误之处，欢迎指正。 大致思路 由于现在动态页面比较多，因此考虑通过WebDriver驱动Chrom ...
分类：
其他好文 时间：
2020-06-22 12:59:43
阅读次数：
39
https://codereview.stackexchange.com/questions/133450/scraping-after-login-using-scrapy https://codereview.stackexchange.com/questions/133450/scraping ...
分类：
其他好文 时间：
2020-06-22 01:31:38
阅读次数：
53
去重的配置： DUPEFILTER_KEY = 'dupefilter:%(timestamp)s' DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter" 调度器配置： SCHEDULER = "scrapy_redis.schedul ...
分类：
其他好文 时间：
2020-06-21 19:57:44
阅读次数：
53
整个爬虫流程 1、scrapy crawl chouti --nolog 2、找到 SCHEDULER = "scrapy_redis.scheduler.Scheduler" 配置并实例化调试器对象 - 执行Scheduler.from_crawler - 执行Scheduler.from_set ...
分类：
其他好文 时间：
2020-06-21 19:40:00
阅读次数：
56
把起始URL放到redis中去 from scrapy_redis.spiders import RedisSpider # 继承RedisSpider class ChoutiSpider(RedisSpider): name = 'chouti' allowed_domains = ['chou ...
分类：
Web程序 时间：
2020-06-21 19:29:47
阅读次数：
60
一、创建爬虫项目 1. 创建爬虫项目 Scrapy startproject myproject (爬虫项目名) 2. myproject项目文件夹中包含： 1. 同名（myproject）文件夹 2. cfg配置文件 （指定项目文件--myproject，指定项目文件的配置文件myspider文件 ...
分类：
其他好文 时间：
2020-06-17 20:27:09
阅读次数：
60
1、DOWNLOAD_DELAY 在settings中设置 DOWNLOAD_DELAY=2 #延时2秒，不能动态改变，导致访问延时都差不多，也容易被发现 2、RANDOMIZE_DOWNLOAD_DELAY 在settings中设置 RANDOMIZE_DOWNLOAD_DELAY=True # ...
分类：
其他好文 时间：
2020-06-17 14:24:07
阅读次数：
290
1、引入 为什么要学习爬虫，学习爬虫能够为我们以后的发展带来那些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的 我们都知道，当前我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集 ...
分类：
编程语言 时间：
2020-06-16 20:40:45
阅读次数：
77
