码迷,mamicode.com
首页 > 其他好文 > 详细

三步将一个普通的scrapy爬虫变为分布式爬虫

时间:2020-06-02 13:37:00      阅读:65      评论:0      收藏:0      [点我收藏+]

标签:start   配置   步骤   注意   tar   需要   路径   url   命令   

要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了:

  1. 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider;或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCrawlSpider。技术图片

     

     

  2. 将爬虫的start_urls删掉。增加一个redis_key="xxx"。这个redis_key是为了以后再redis中控制爬虫启动的。爬虫的第一个url,就是redis中通过这个发送出去的。技术图片
  3. 在配置文件中增加

技术图片

 

 

运行爬虫:

1、在爬虫服务器上,进如爬虫文件所在路径,然后输入命令:scrapy runspider [爬虫名字]

2、在redis服务器上,推入一个开始的url链接(就是redis_key那里):redis-cli lpush [redis_key] start_url

需要注意的是在1步骤中,scrapy runspider [爬虫名字],其中[爬虫名字]不是name所指的,而是爬虫的py文件,如下图

技术图片

 

三步将一个普通的scrapy爬虫变为分布式爬虫

标签:start   配置   步骤   注意   tar   需要   路径   url   命令   

原文地址:https://www.cnblogs.com/GouQ/p/13030298.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!