一、安装Scrapy 导入GPG密钥 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7 添加软件源 echo ‘deb http://archive.scrapy.org/ubuntu scrapy main‘ | sudo tee /etc/apt/sources....
分类：
编程语言 时间：
2015-07-30 11:37:44
阅读次数：
141
一，我是如何使用Python抓取网页的我知道Python有一个爬虫框架scrapy，但是目前还没有学习，并且也没有什么很棘手的的问题需要去使用一个爬虫框架，所以我就用Python自带的urllib，将目标网页爬下来，然后用正则过滤出自己需要的内容。二，效率问题上面的方法简单，真的是上手即用，但是问题是效率问题，如果一个网页一个网页的抓，显然带宽无法达到最高，浪费了大部分带宽，这时候大部分人都会想到，...
分类：
编程语言 时间：
2015-07-30 00:46:17
阅读次数：
253
我们使用dmoz.org这个网站来作为小抓抓一展身手的对象。首先先要回答一个问题。问：把网站装进爬虫里，总共分几步？答案很简单，四步：新建项目 (Project)：新建一个新的爬虫项目明确目标（Items）：明确你想要抓取的目标制作爬虫（Spider）：制作爬虫开始爬取网页存储内容（Pipeline...
分类：
其他好文 时间：
2015-07-30 00:25:03
阅读次数：
160
参考文章：http://www.cnblogs.com/txw1958/archive/2012/07/12/scrapy_installation_introduce.html一、 Scrapy简介Scrapy is a fast high-level screen scraping and we...
分类：
其他好文 时间：
2015-07-29 15:22:50
阅读次数：
224
在linux下配置完运行是出现ImportError: No module named cryptography.hazmat.bindings.openssl.binding的错误。原因是craptography并没有安装。如果直接安装cryptography时又会出现找不到libffi和cf.....
分类：
其他好文 时间：
2015-07-20 18:23:24
阅读次数：
145
1 from scrapy import log 2 from scrapy.contrib.spiders import XMLFeedSpider 3 from myproject.items import TestItem 4 5 class MySpider(XMLFeedSpider).....
分类：
其他好文 时间：
2015-07-18 18:19:38
阅读次数：
368
暑假记录datework2015/7/13-2015/7/14win下安装scrapy 安装流程: 重新安装python2.7 安装pip,easy_install 使用pip安装lxml,pyOpenSSL,Zope.Interface,twisted,pywin32 注意所有的系统版本...
分类：
其他好文 时间：
2015-07-16 19:37:16
阅读次数：
170
Scrapy 源代码分析系列－4 scrapy.commands 子包子包scrapy.commands定义了在命令scrapy中使用的子命令(subcommand): bench, check, crawl, deploy, edit, fetch,genspider, list, parse, ...
分类：
编程语言 时间：
2015-07-15 22:31:17
阅读次数：
426
Scrapy 源代码分析系列－1 spider, spidermanager, crawler, cmdline, command分析的源代码版本是0.24.6, url:https://github.com/DiamondStudio/scrapy/blob/0.24.6如github 中Scra...
分类：
编程语言 时间：
2015-07-15 18:50:33
阅读次数：
381
无奈的 做次标题党。 欢迎大家加入，交流。群号：284230680? 备注使用：“oschina”吧 上次分享的scrapy 代码。一直想 抓取一下 极客学院的。但是 在web层面上，根本没有办法突破 登陆机制。只能买个VIP 进行下载...
分类：
编程语言 时间：
2015-07-15 15:20:38
阅读次数：
172
