Crawlspider

标签：指定   爬虫   ide   子类   提取   pid   com   正则   工程   

Spider的一个子类，用于全站数据爬取

全站爬取：

　　1.基于Spider：手动请求发送

　　2.基于Crawlspider:

　　cralwspider使用：

　　　　创建工程

　　　　cdxxx

　　　　创建爬虫文件（crawlspider)：scrapy genspider -t crawl xxx www.xxx.com

　　链接提取器：提取链接 根据指定规则（allow="正则")进行指定链接的提取

　　规则解析器：

Crawlspider

标签：指定   爬虫   ide   子类   提取   pid   com   正则   工程   

原文地址：https://www.cnblogs.com/Jnhnsnow/p/11624854.html