标签：
开始爬取网页：(2)写入源文件的爬取
为了使代码易于修改，更清晰高效的爬取网页，我们将代码写入源文件进行爬取。
主要分为以下几个步骤：
一.使用scrapy创建爬虫框架：
二.修改并编写源代码，确定我们要爬取的网页及内容
三.开始爬取并存入文件（数据库）
注：为了避免冗长的叙述，更直观地理解，这里先讲具体的操作方法，如果想要深入理解其原理，具体解释在最后。
*操作方法：
1.创建爬虫框架
打开命令行，使用cd命令，进入你想要创建文件的位置
scrapy startproject 文件夹名称（假设为demo）
scrapy startproject demo
强大的scrapy会在当前路径下自动生成爬虫框架如下：demo/
scrapy.cfg #项目配置文件
demo/
__init__.py
items.py #设定数据存入的对象
pipelines.py #与数据库交互
settings.py #爬虫配置文件
spiders/
__init__.py
2.编辑源代码，确定爬取方案
scrapy不仅仅帮助我们生成好了框架，还提供了很多内置的方法供我们使用，我们只需要利用这些方法并结合BeautifulSoup库
进行网页信息的筛选。
开始写代码吧！
首先打开items.py文件，修改如下：
1 # -*- coding: utf-8 -*-
2
3 # Define here the models for your scraped items
4 #
5 # See documentation in:
6 # http://doc.scrapy.org/en/latest/topics/items.html
7
8 import scrapy
9
10
11 class DemoItem(scrapy.Item):
12 # define the fields for your item here like:
13 name = scrapy.Field()
14 #pass
然后在spider目录下新建spider.py,将下述代码复制到其中
1 # -*- coding: utf-8 -*-
2 import scrapy
3 from bs4 import BeautifulSoup
4 from demo.items import DemoItem
5
6
7 class demo(scrapy.Spider):
8 name = "demo"
9 start_urls = [‘http://www.cnblogs.com/KoalaDream/‘]
10
11 def parse(self, response):
12 soup = BeautifulSoup(response.body)
13 tmp=soup.find_all(‘div‘,attrs={‘class‘:‘postTitle‘})
14 for i in range(0,len(tmp)):
15 item=DemoItem()
16 item[‘name‘]=tmp[i].text.encode(‘utf-8‘)
17 yield item
这段代码的作用是爬取我的博客主页的文章标题，具体语句的作用在后面有介绍。
3.开始爬取并存入文件
代码编写好了，我们要开始爬取网页了，是不是很容易？
在命令行中，使用cd命令进入scrapy.cfg所在的目录
scrapy crawl demo -o output.json
开始爬取，并将内容输出到含有scrapy.cfg文件的目录下output.json文件中
完成！
打开output.json文件，什么？怎么全是乱码？
这是因为我们爬取下的中文字符，以unicode的编码格式存储在文件中。
想要看到中文字符，可以将输出的内容复制，打开python，输入print u"---"将复制的unicode码粘贴，便可输出对应的中文字符。
*代码详解
在spider中，scrapy框架规定其中有三个必需的定义的成员。
name: 名字，spider的标识，我们爬取时在命令行中输入的 scrapy crawl ____ 即为此处定义的name
start_urls:一个url列表，spider从这些网页开始抓取
parse():一个方法，当start_urls里面的网页抓取下来之后scrapy会自动调用这个方法解析网页内容。
总的来说就是name告诉scrapy框架，我要运行哪个框架。然后scrapy会运行该框架，自动链接到start_url的web页面，生成response对象，将爬取下源代码存入response对象里面。
下面我们来看具体的parse()方法是如何工作的。
首先引入BeautifulSoup库，它可以大大简化我们的爬取过程。
然后我们打开要爬取的网页即 http://www.cnblogs.com/KoalaDream/
查看源代码。（chrome浏览器中，鼠标右键点击某一个文章标题，点击审查元素）
可以看到，每一个标题都是在一个<div>标签里面，class属性均为postTitle
于是，我们使用BeautifulSoup中提供的方法筛选出标题
tmp=soup.find_all(‘div‘,attrs={‘class‘:‘postTitle‘})
将标题以列表的形式存入tmp中。
还记得我们刚刚修改过的items.py文件吗？
下面我们要遍历tmp中的每一项，并将其存入刚刚定义过的item中。
通过 item=DemoItem()，创建了一个DemoItem类的对象，下面的操作
item[‘name‘]=tmp[i].text.encode(‘utf-8‘)
左侧的运算符有些让人费解。因为想要操作类中的成员，一般使用item.name,这个操作符是怎么回事呢？
仔细观察items.py文件中，DemoItem类继承了scrapy.Item类。经试验证明，如果把继承去除，此运算符不再存在。
说明在scrapy.Item类中，对运算符[]进行了重载。个人感觉意义上和.操作符没什么区别，我们直接使用此语法即可。
最后就是 yield item了
yield语法查了很久，已经被生成器，迭代器搞得有些晕。
如果想了解具体的yield语法，请看下面的链接
http://www.oschina.net/translate/improve-your-python-yield-and-generators-explained
对于这里的yield语句的作用，我说说我的理解，哪里不准确希望大家多多指教。
首先简单介绍下yield语句：
yield用于函数，就像return，给函数一个返回值。不同的是，return标志着函数结束，而yield是让函数暂停,直到这个函数再次被调用，会从暂停的地方继续执行，而不是从头开始。
在spider.py的代码中，每循环一次，yield语句将列表中当前的值返回给parse。可是我们并没有主动调用和返回。那么输出的内容是哪里来的？
因为parse是在scrapy框架中，自动被调用的方法，我们可以推测出：
当告诉scrapy输出到output.json文件中时，对于每一次yield的返回值，会被自动print到output.json文件中。然后scrapy会再次调用parse方法，从刚刚间断的位置，即for循环，然后返回下一个列表项。如此循环，直到函数结束。这样一来，tmp中的内容就被存放到item[‘name‘]中,然后被输出到output.json中。
每一次yield返回的一个值就是所谓的生成器。
而每一次从暂停状态，再被调用时，自动从暂停前的下一个对象开始，就是所谓的迭代器。
标签：
原文地址：http://www.cnblogs.com/KoalaDream/p/4470482.html
