1.代码升级
之前的问题：
随着Scrapy库的流行，scrapy-redis作为使用redis支持分布式爬取的工具，也不断的被大家发现。
但是，使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy，所以当你使用的是新版本的Scrapy时，不可避免的会出现警告，甚至错误。
关于这个问题，我总结之后在scrapy-redis库中提了出来并开了issue和作者做了...
分类：
其他好文 时间：
2014-09-07 17:20:55
阅读次数：
226
一、 Scrapy简介Scrapy is a fast high-level screen scraping and web crawling framework, used to crawl websites and extract structured data from their pages...
分类：
其他好文 时间：
2014-09-01 17:11:43
阅读次数：
213
在公司项目中，有一些爬虫中需要用的国内代理，有一些需要用到国外代理，有一些不用代理我测试了三个方案方案一：在settings.py中开启代理，然后在spider中重写DOWNLOADER_MIDDLEWARES，但重写无法生效方案二：让scrapy切换到不同的settings.py文件，这个手动切换是有效果的，..
分类：
Web程序 时间：
2014-09-01 15:48:54
阅读次数：
251
对于想用每个想用Python开发网络爬虫的开发者来说，Scrapy无疑是一个极好的开源工具。今天安装之后觉得Scrapy的安装确实不易啊。所以在此博文一篇，往后来着少走弯路。 废话不多说了，如果你还不知道Scrapy是何物，可登陆在其官网http://scrapy.org/一览究竟，在此不再赘述。 ...
分类：
编程语言 时间：
2014-09-01 15:21:13
阅读次数：
405
七日python之路 七日python -- 第一天 七日python -- 第二天 ... scrapy爬虫 python爬虫----（1. 基本模块） ... pytnon基础 python基本 -- threading多线程模块的使用 python基本 -- mysql 的使用...
分类：
其他好文 时间：
2014-08-23 04:38:50
阅读次数：
171
背景：pip安装一直不成功，很多模块用pip安装都不行，只好到github下载zip安装c:\Document and settings\> python e:\scrapy-0.24\setup.py install结果失败，提示[err2] no such file or directory: ...
分类：
其他好文 时间：
2014-08-22 15:56:18
阅读次数：
235
利用xpath()分析抓取数据还是比较简单的，只是网址的跳转和递归等比较麻烦。耽误了好久，还是豆瓣好呀，URL那么的规范。唉，亚马逊URL乱七八糟的.... 可能对url理解还不够. amazon
├──?amazon
│??...
分类：
编程语言 时间：
2014-08-22 05:03:45
阅读次数：
3369
在分析和处理选择内容时，还需注意页面的JS可能会修改DOM树结构。 （一）GitHub的使用 ????由于之前使用Win，没使用过shell的。目前只是了解。以后再补充。找到几个不错的教程 ? ? ????GitHub超...
分类：
编程语言 时间：
2014-08-21 09:55:44
阅读次数：
251
官方文档： http://doc.scrapy.org/en/latest/ ??? github例子： https://github.com/search?utf8=%E2%9C%93&q=scrapy ????剩下的待会再整理...... 买饭去......?????? --2014年08月20日19:...
分类：
编程语言 时间：
2014-08-20 19:45:13
阅读次数：
243
采集时，有时候需要采集图片，但某些网站的图片提供的相对地址，最好转换成绝对地址在scrapy中有如下的解决策略http://stackoverflow.com/questions/6499603/python-scrapy-convert-relative-paths-to-absolute-pathshttp://stackoverflow.com/questions/19970015/scrapy-item-..
分类：
编程语言 时间：
2014-08-20 16:38:23
阅读次数：
239
