使用 sudo pip install scrapy 下载 scrapy运行官方案例出现如下问题:(1)AttributeError: 'module' object has no attribute 'Spider' 出现此问题原因版本过低！ (ubantu)解决方法 github 下载 sc.....
分类：
其他好文 时间：
2015-10-20 10:31:31
阅读次数：
304
转自http://blog.csdn.net/u012150179/article/details/38226103通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度，这个深度是与start_urls中定义url的相对值。也就是相对 url的深度。例如定义url为：http...
分类：
其他好文 时间：
2015-10-18 15:32:32
阅读次数：
144
小工具：关于网页代码中意向信息的查找可以借助几个工具：第一个——Firefox插件Firebug。第二个——Firefox插件XPath。可以快速的在网页中对xpath表达式的正确性进行验证。第三个——scrapy shell.关于其使用可以查看教程。
分类：
其他好文 时间：
2015-10-17 17:26:27
阅读次数：
142
转自http://blog.csdn.net/u012150179/article/details/34913315一.目的。在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3csch...
分类：
Web程序 时间：
2015-10-17 17:25:51
阅读次数：
299
转自http://blog.csdn.net/u012150179/article/details/34441655学习曲线总是这样，简单例子“浅尝”，在从理论+实践慢慢攻破。理论永远是基础，切记“勿在浮沙筑高台”。一. 核心架构关于核心架构，在官方文档中阐述的非常清晰，地址：http://doc....
分类：
其他好文 时间：
2015-10-17 11:57:37
阅读次数：
136
用scrapy抓取的豆瓣的图书信息保存为csv文件用excel打开后显示乱码后来按照百度的解决csv乱码问题解决了方法是：1、先选择记事本为该csv文件的打开方式2、然后另存为编码格式为ansi的csv文件再用Excel打开就不是乱码了。爬下来的文件本来是UTF-8编码的中途尝试过保存为unicod...
分类：
其他好文 时间：
2015-10-17 10:33:37
阅读次数：
155
以cnblogs-scrapy.git为例介绍如何将本地代码push到github 在github上创建对应的仓库：https://github.com/hotbaby/cnblogs-scrapy.git 初始化本地仓库: $ git init 将代码添加本地仓库中： $ git add . 添加...
分类：
其他好文 时间：
2015-10-16 11:23:06
阅读次数：
153
不多说，直接开整一、安装开发包组、升级操作系统#yumgroupinstall"DevelopmentTools"-y
#yumupdate-y注：1、如果你的系统上的python不是python2.7以上版本请升级到python2.7以上版本（由于Scrapy需要python2.7以上的版本）#下载python2.7
#wgethttp://python.org/ftp/python/2..
分类：
其他好文 时间：
2015-10-16 06:30:08
阅读次数：
558
先上图百度搜了一下大概意思是却是一个pywin32 的组件吧恩！我想应该是的！所以就下载了一个对应我的电脑python2.7版本的pywin32-218.win-amd64-py2.7.exe找自己对应版本的 安装一下就可以了!
分类：
Windows程序 时间：
2015-09-30 14:22:00
阅读次数：
1167
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取Web站点并从页面中提取结构化的数据.它最吸引人的地方在于任何人都可以根据需求方便的修改。MongoDB是现下非常流行的开源的非关系型数据库（NoSql），它是以“key-value”的形式存储数据的，在大数据量、高...
分类：
数据库 时间：
2015-09-28 13:21:54
阅读次数：
409
