之前本打算做垂直搜索时使用了python的scrapy抓取 大众点评网的数据。现在准备做一款互联网医疗的产品。爬虫是需要抓取自然理论数据。因此对主流的开源爬虫框架做一个介绍。Java:Nutch,HeritrixC++:Larbin,PolyBotPython:ScrapyErlang:EbotR....
分类：
其他好文 时间：
2015-05-10 17:11:17
阅读次数：
141
Scrapinghub 发布的apt-get可获取版本通常比Ubuntu里更新，并且在比 Github 仓库 (master & stable branches) 稳定的同时还包括了最新的漏洞修复。
1.把Scrapy签名的GPG密钥添加到APT的钥匙环中:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu....
分类：
系统相关 时间：
2015-05-05 19:38:13
阅读次数：
158
开始爬取网页：(2)写入源文件的爬取为了使代码易于修改，更清晰高效的爬取网页，我们将代码写入源文件进行爬取。主要分为以下几个步骤：一.使用scrapy创建爬虫框架：二.修改并编写源代码，确定我们要爬取的网页及内容三.开始爬取并存入文件（数据库）注：为了避免冗长的叙述，更直观地理解，这里先讲具体的操作...
分类：
其他好文 时间：
2015-05-01 17:21:27
阅读次数：
147
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2015-04-21 14:23:49
阅读次数：
169
defprocess_item(self,item,spider):ifre.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):raiseDropItem("noneedin%s"%item[‘lineContent‘])else:ifspider.name==‘**‘:query=self.dbpool.runInteraction(self._conditional_insert,item)#query.addErrback(self.handle_err..
分类：
其他好文 时间：
2015-04-06 06:35:15
阅读次数：
1264
第二部分抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2.在中scrapyshell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapyshellhttp://shanhuijj.tmall.com/search.h..
分类：
编程语言 时间：
2015-04-05 19:04:49
阅读次数：
400
最近想用scala写一个分布式爬虫框架。没有反射就没有框架。所以需要准备下scala反射的知识什么是反射？反射是程序的一种自省能力。利用反射可以从更高的抽象等级写程序甚至在运行时改变程序本身反射有哪些类型？根据使用的时机不同，可以分为：运行时反射，编译时反射，具体化..
分类：
其他好文 时间：
2015-04-05 06:46:52
阅读次数：
844
Scrapy 是什么？
Scrapy 是一个开源的基于Twisted的python爬虫框架，我们只要定制几个简单的模块就能实现网络数据的爬取。
Scrapy 的整体架构
简单的解释一下上面的图:
爬虫处理的原材料是一个或多个url，爬取时Sheduler会把一个url分配给Downloader来进行一次网络的request请求，请求完成后Downloader再把所得到的res...
分类：
移动开发 时间：
2015-03-10 19:28:45
阅读次数：
259
本次安装使用的系统环境是windows xp。以下给出具体步骤。我想如果照做一定能够成功哦。
1.安装python2.6.这里选择的是python2.6,为什么选择这个版本，
首先，scrapy官网上明确写出：requirements:
Python 2.5, 2.6, 2.7 (3.x is not yet supported), 即目前只支持python2.5,2.6,2...
分类：
编程语言 时间：
2015-02-10 11:20:33
阅读次数：
591
1）Select Crawl Scope：Crawl Scope 用于配置当前应该在什么范围内抓取网页链接。例如选择 BroadScope 则表示当前的抓取范围不受限制，选择 HostScope 则表示抓取的范围在当前的 Host 范围内。在这里我们选择 org.archive.crawler......
分类：
其他好文 时间：
2015-01-22 23:12:39
阅读次数：
210
