又是采集绿色下载站的最新软件，又是采用另一种方式(前两种是采用正则和xpath)，呵呵感觉有点像孔乙已的茴字有几种写法了这回用CrawlSpider,Rule来配合采集这次不用生成许多start_urls列表项了，可以按规则来自动读取，贴核心代码#-*-coding:utf-8-*-
fromscrapy.contrib.spide..
分类：
其他好文 时间：
2014-08-03 23:34:57
阅读次数：
500
【Vertex and fragment programs】 When you use vertex and fragment programs (the so called "programmable pipeline"), most of the hardcoded functionality....
分类：
其他好文 时间：
2014-07-29 13:39:18
阅读次数：
175
1.使用pipeline进行批量导入数据
class Redis_Handler(Handler):
def connect(self):
#print self.host,self.port,self.table
self.conn = Connection(self.host,self.port,self.table)
def execute(self, acti...
分类：
编程语言 时间：
2014-07-29 13:06:56
阅读次数：
394
原创文章，链接：
(I) connection.py
负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用，总之涉及到redis存取的都要使用到这个模块。
(II) dupefilter.py
负责执行requst的去重，实现的很有技巧性，使用redis的set数据结构。但是注意scheduler并不使用其中用于在这个模块中实现的dupe...
分类：
其他好文 时间：
2014-07-28 16:10:23
阅读次数：
395
原创文章，链接：
在scrapy使用过程中，很多情况下需要根据实际需求定制自己的扩展，小到实现自己的pipelines，大到用新的scheduler替换默认的scheduler。
扩展可以按照是否需要读取crawler大致分为两种，对于不需要读取的，比如pipelines的编写，只需要实现默认的方法porcess_item。需要读取的，如scheduler的编写又存在另外的方式。...
分类：
其他好文 时间：
2014-07-28 16:08:23
阅读次数：
229
结构图
scrapy+webkit：
如结构图③。
scrapy不能实现对javascript的处理，所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash.
关于scrapy+webkit的使用后期进行分析。
scrapy+django:
如结构图④。
django实现的配置界面主要是对抓取系统的管理和配置，...
分类：
数据库 时间：
2014-07-28 16:03:03
阅读次数：
673
C:\users\XXXX>easy_install scrapy 出现错误 fatal error C1083: Cannot open include file: 'openssl/aes.h' : No such file or directory。才想起scrapy主页Installatio...
分类：
Windows程序 时间：
2014-07-27 09:44:12
阅读次数：
1567
一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：）已经做了翻译（README.rst）。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类：
其他好文 时间：
2014-07-24 23:13:44
阅读次数：
306
之前使用scrapy实现了一个超级简单的爬虫工具，用于抓取豆瓣上面所有的编程书籍信息（由于不需要爬取整个页面的所以链接，所以不需要用到BFS or DFS，只实现顺序抓取下一页） 这次使用的是python自带的urllib 和urllib2等python模块实现，同样以豆瓣上面的爱情电影信息作...
分类：
编程语言 时间：
2014-07-22 22:47:35
阅读次数：
347
CrawlSpider-爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。 也许该spider并不是完全适合您的特定网站或项目，但其对很多情况都使用。 因此您可以以其为起点，根据需求修改部分方法。当然您也可以实现自己的spider。...
分类：
其他好文 时间：
2014-07-20 10:18:09
阅读次数：
225
