昨天安装了scrapy一切正常，调试了bbsSpider案例（详见上文），今日开机因为冰封还原，提示找不到python27.dll，重新安装了python2.7，使用easy-install scrapy 提示错误：pkg_resources.DistributionNotFound: pyasn1...
分类：
编程语言 时间：
2015-09-11 20:50:11
阅读次数：
318
昨天用python谢了一个简单爬虫，抓取页面图片；但实际用到的爬虫需要处理很多复杂的环境，也需要更加的智能，重复发明轮子的事情不能干，再说python向来以爬虫作为其擅长的一个领域，想必有许多成熟的第三方框架，百度后选用了Scrapy作为平台构建复杂爬虫。Scarpy的下载安装不必细说，话说当前只支...
分类：
其他好文 时间：
2015-09-10 19:26:13
阅读次数：
513
一、创建工程scrapystartprojectdmoz二、建立dmoz_spider.pyfromscrapy.spiderimportSpider
fromscrapy.selectorimportSelector
fromdmoz.itemsimportDmozItem
classDmozSpider(Spider):
name="dmoz"
allowed_domains=["dmoz.org"]
start_urls=[
"http://www.dmoz.org/Compu..
分类：
其他好文 时间：
2015-09-08 15:36:35
阅读次数：
175
关于Scrapy的安装，网上一搜一大把，一个一个的安装说实话是有点麻烦，那有没有一键安装的？答案显然是有的，下面就是给神器的介绍： 主页：http://conda.pydata.org/docs/ 下载地址:http://continuum.io/downloads 两个版本，64位和32位，根.....
分类：
其他好文 时间：
2015-09-01 13:47:50
阅读次数：
145
WebMagic项目代码分为核心和扩展两部分。核心部分(webmagic-core)是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。WebMagic的架构设计参照了Scrapy，目标是尽量的模块化，并体现爬虫的功能特点。这部分提供非常简单、灵活的API，在基本不改变开发.....
分类：
Web程序 时间：
2015-08-30 22:50:34
阅读次数：
296
最近实验室的项目中有一个需求是这样的，需要爬取若干个（数目不小）网站发布的文章元数据（标题、时间、正文等）。问题是这些网站都很老旧和小众，当然也不可能遵守Microdata这类标准。这时候所有网页共用一套默认规则无法保证正确抓取到信息，而每个网页写一份spider代码也不切实际。这时候，我迫切地希望...
分类：
编程语言 时间：
2015-08-29 16:57:23
阅读次数：
338
import scrapyfrom goose import Gooseclass Article(scrapy.Item): title = scrapy.Field() text = scrapy.Field()class MyGooseSpider(scrapy.Spider): ...
分类：
其他好文 时间：
2015-08-25 19:29:45
阅读次数：
492
Linux 安装python爬虫框架 scrapy...
分类：
编程语言 时间：
2015-08-21 17:12:35
阅读次数：
163
Python入门网络爬虫之精华版Python学习网络爬虫主要分3个大的版块：抓取，分析，存储
另外，比较常用的爬虫框架Scrapy，这里最后也介绍一下。
先列举一下相关参考：宁哥的小站-网络爬虫 抓取这一步，你要明确要得到的内容是是什么？是HTML源码，还是Json格式的字符串等等。 1. 最基本的抓取一般属于get请求情况，直接从服务器上获取数据。
首先，Python中自带urllib及...
分类：
编程语言 时间：
2015-08-19 13:22:48
阅读次数：
220
提取Item选择器介绍 我们有很多方法从网站中提取数据。Scrapy 使用一种叫做 XPath selectors的机制，它基于 XPath表达式。如果你想了解更多selectors和其他机制你可以查阅资料http://doc.scrapy.org/topics /selectors.html#to...
分类：
编程语言 时间：
2015-08-16 22:46:05
阅读次数：
1036
