创建爬虫

标签：set   setting   item   bsp   ide   url   tutorial   pipeline   命令   

1.创建项目

命令行到文件路径下，

scrapy startproject tutorial

产生目录

tutorial/

　　scrapy.cfg

　　tutorial/

　　　　__init__.py

　　　　items.py

　　　　settings.py

　　　　middlewares.py

　　　　pipelines.py

　　　　spiders/

　　　　　　_init_.py

　　　　　　。。。。

2.编写spider

scrapy genspider 爬虫名 初始URL #初始URL可以修改

3.定义item

创建爬虫

标签：set   setting   item   bsp   ide   url   tutorial   pipeline   命令   

原文地址：http://www.cnblogs.com/zhengzhe/p/7768113.html