scarpy-redis运行爬虫后，redis数据里只有dupefilter，而没有requests

标签：redis   pop   比较   没有   url   序列   push   arp   nbsp   

scarpy-redis运行爬虫后

在redis中并没有保存requests，只保存了dupefilter，ctrl+c停止后，才会在redis中保存requests

原因是因为 生成next_url太慢，即往redis push之后，立马被pop了，才导致redis 没有 requests的序列化，然后导致其他scrapy实例无法读取request继而无法同时进行数据抓取

解决：生成next_url的时候快点，从列表展示页抓，生成比较快

scarpy-redis运行爬虫后，redis数据里只有dupefilter，而没有requests

标签：redis   pop   比较   没有   url   序列   push   arp   nbsp   

原文地址：https://www.cnblogs.com/lb809663396/p/12677661.html