Scrapy网络爬虫框架的开发使用

标签：help   列表   lis   img   tar   命令   domain   ide   bsp   

1.安装

2.使用scrapy startproject  project_name 命令创建scrapy项目

如图：

3.根据提示使用scrapy genspider spider_name domain_url 创建一个spider程序

如图：

注意spider_name 不能和project_name 同名；可以采用关键字加_spider的方式命名spider_name

 4. 使用scrapy list命令查看所有的spider程序名称，及使用scrapy --help查看命令列表

 5. 使用scrapy shell url 调试selector

Scrapy网络爬虫框架的开发使用

标签：help   列表   lis   img   tar   命令   domain   ide   bsp   

原文地址：http://www.cnblogs.com/liuzhiqaingxyz/p/7493316.html