ItemsItem objects are simple containers used to collect the scraped data.They provide a dictionary-like api with a convenient syntax for declaring the...
分类：
其他好文 时间：
2014-07-16 22:48:37
阅读次数：
186
After an item has been scraped by a spider,it is sent to the Item Pipeline which process it through several components that are executed sequentially....
分类：
其他好文 时间：
2014-07-14 00:20:06
阅读次数：
323
第4部分诊断与插件
刚开始看这章的时候，真实一头雾水，不知道在讲什么，不过看了关于http pipeline之后，才了解相关说明。因此对于这一章的学习，建议各位首先看看http pipeline然后再进行学习。
第17章诊断与调测
该部分讲解了基本的调试方法，不过个人认为调测方法其实涉及到很多方面的内容，这章也只是大概介绍几个基本的方法。...
分类：
Web程序 时间：
2014-07-12 16:59:00
阅读次数：
185
1)创建项目命令：scrapy startproject tutorial该命令将在当前目录下创建tutorial文件夹2）定义ItemItems are containers that will be loaded with the scraped data;They are declared b...
分类：
其他好文 时间：
2014-07-11 23:07:39
阅读次数：
314
Stoner Pipeline Simulator v9.9.0油气管道仿真软件(v9.7.2, v9.6, v9.5) (SPS）建立了鄯乌管道离线电子管道系统，借助Visual Basic（VB）程序开发语言，开发了具有与现场一致的SCADA系统操作界面，应用SPS软件与VB语言接口，建立了前....
分类：
其他好文 时间：
2014-07-02 23:24:00
阅读次数：
722
爬取text 包含某个关键字时zhibo_unicode = unicode("直播","utf-8")sel.xpath('//a[contains(span/text(),"%s")]/@href' % zhibo_unicode) 只能用%s占位符这种类似的方式。 以下方式是不...
分类：
其他好文 时间：
2014-06-28 21:14:38
阅读次数：
232
scrapy spider的parse方法可以返回两种值：BaseItem，或者Request。通过Request可以实现递归搜索。
如果要抓取的数据在当前页，可以直接解析返回item（代码中带**注释的行直接改为yield item）；
如果要抓取的数据在当前页指向的页面，则返回Request并指定parse_item作为callback；
如果要抓取的数据当前页有一部分，指向的页面有一部分（比如博客或论坛，当前页有标题、摘要和url，详情页面有完整内容）这种情况需要用Request的meta参数把...
分类：
Web程序 时间：
2014-06-27 09:46:13
阅读次数：
333
一.目的。
在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，
在pipelines.py中实现获得数据的过滤以及保存。
但是以上述方法只能爬取start_url列表中的网页，而网络爬虫如google等搜索引擎...
分类：
Web程序 时间：
2014-06-27 09:37:22
阅读次数：
15554
1， 今天在调用call的时候出错：File "/share/Public/cmiao/MyScripts/call_snp_pipeline/call_snp_pipeline.py", line 115, in pre_tophat2 call(['bowtie2-bulid', i, p...
分类：
编程语言 时间：
2014-06-26 16:27:17
阅读次数：
241
http://guides.rubyonrails.org/asset_pipeline.htmlRails 官方的 Assets Pipeline
文档，解释了 Rails 中对静态资源（javascript, css 以及图片）的管理方式： 0, :title => "修改"),
edit_pa...
分类：
其他好文 时间：
2014-06-12 06:47:39
阅读次数：
280
