结构图
scrapy+webkit：
如结构图③。
scrapy不能实现对javascript的处理，所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash.
关于scrapy+webkit的使用后期进行分析。
scrapy+django:
如结构图④。
django实现的配置界面主要是对抓取系统的管理和配置，...
分类：
数据库 时间：
2014-07-28 16:03:03
阅读次数：
673
C:\users\XXXX>easy_install scrapy 出现错误 fatal error C1083: Cannot open include file: 'openssl/aes.h' : No such file or directory。才想起scrapy主页Installatio...
分类：
Windows程序 时间：
2014-07-27 09:44:12
阅读次数：
1567
一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：）已经做了翻译（README.rst）。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类：
其他好文 时间：
2014-07-24 23:13:44
阅读次数：
306
今天在用scrapy爬某个网站的数据，其中DOM解析我用的是BeautifulSoup，速度上没有XPath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4不过在爬取过程中遇到了一些问题，其中一个是Unicode转码问题，这也算是python中一个著名问题了。我遇到的算是Beautiful...
分类：
其他好文 时间：
2014-07-22 22:53:55
阅读次数：
229
Scrapy是一个用python实现都爬虫框架，简单易用，功能强大，只需要在框架的基础上自定义自己的分析规则即可，具体如何新建工程等待都在官方文档上面讲解得非常清楚，官方文档tutorial（http://doc.scrapy.org/en/latest/intro/tutorial.html）.....
分类：
编程语言 时间：
2014-07-22 22:50:15
阅读次数：
307
之前使用scrapy实现了一个超级简单的爬虫工具，用于抓取豆瓣上面所有的编程书籍信息（由于不需要爬取整个页面的所以链接，所以不需要用到BFS or DFS，只实现顺序抓取下一页） 这次使用的是python自带的urllib 和urllib2等python模块实现，同样以豆瓣上面的爱情电影信息作...
分类：
编程语言 时间：
2014-07-22 22:47:35
阅读次数：
347
CrawlSpider-爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目，但其对很多情况都使用。 因此您可以以其为起点，根据需求修改部分方法。当然您也可以实现自己的spider。...
分类：
其他好文 时间：
2014-07-20 10:18:09
阅读次数：
225
使用Scrapy这个python的网络爬虫框架抓取Scrapy中文文档开发第一步：新建项目scrapy startproject myfirst目录结构：myfirst│ scrapy.cfg Scrapy项目配置文件│└─myfirst Scrapy项目代码存放目...
分类：
其他好文 时间：
2014-07-19 16:00:43
阅读次数：
207
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口...
分类：
其他好文 时间：
2014-07-19 15:13:58
阅读次数：
241
windows 命令行编码是cp936,而D:\Python27\Scripts\scrapy脚本编码是Unicode编码顾在命令行启动会出现编码问题解决办法：修改D:\Python27\Scripts\ 下的scrapy文件，这个文件即scrapy命令的程序文件，加上如下代码即可：import s...
分类：
其他好文 时间：
2014-07-19 14:21:14
阅读次数：
209
