scrapy extract提取出的是list，且selectors返回list．创建项目：scrapy startproject myproject下载内容并送到标准输出：scrapy fetch --nolog http://www.example.com/some/page.htmlscrap...
分类：
其他好文 时间：
2015-01-04 11:52:52
阅读次数：
219
转自http://www.devdao.com/Article/580449.htm 按照里面的教程来就可以好了
分类：
系统相关 时间：
2014-12-27 23:02:21
阅读次数：
389
下载scrapy
在命令行下输入： sudo apt-get install python-scrapy
或者进入http://scrapy.org下载安装
新建项目
命令行下进入项目目录，输入scrapy startproject start
新建一个名为start的项目
项目结构如下
start/
scrapy.cfg
start/
_...
分类：
系统相关 时间：
2014-12-26 22:58:42
阅读次数：
290
开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的？...
分类：
其他好文 时间：
2014-12-24 14:42:27
阅读次数：
254
zpc@Lenovo-PC:/prj/pyscrapy/a$ scrapy startproject helloword New Scrapy project 'helloword' created in: /cygdrive/e/01.prj/pyscrapy/a/helloword You ca...
分类：
其他好文 时间：
2014-12-19 23:14:04
阅读次数：
497
直接设置即可，比如：IMAGE_SAVE_PATH = 'd:/data/'这样引用：
分类：
其他好文 时间：
2014-12-12 19:00:50
阅读次数：
513
scrapy下载图片到指定路径，可以通过覆写ImagesPipeline 的file_path方法来实现。但是，前提是：在settings.py不能设置IMAGES_STORE。一旦设置了IMAGES_STORE属性，那么覆写file_path即使成功，也不会改变图片的保存路径。
分类：
其他好文 时间：
2014-12-12 18:41:32
阅读次数：
133
为了在win8.1上安装scrapy折腾了好久，最终安装成功，总结步骤如下：下载安装Visual C++ 2008 redistributables安装lxml-3.2.4.win-amd64-py2.7.exe(32位:lxml-3.2.4.win32-py2.7.exe)安装pywin32-21...
分类：
编程语言 时间：
2014-12-10 20:58:48
阅读次数：
221
1.编码问题页面是gbk的，数据库是utf8的gbk到utf8的转化得通过unicode编码：gbk 《--unicode--》utf8具体参考http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.htmlscrapy从页面抓到的数据自动转化为...
分类：
其他好文 时间：
2014-12-09 00:17:00
阅读次数：
199
scrapy是一个python爬虫框架，使用起来还是非常简单的。使用pip安装scrapy 首先安装pip，安装后使用pip安装scrapy，pip install scrapyscrapy创建项目，及简单测试 这里有几个比较好的例子 http://blog.csdn.net/HanTangSo.....
分类：
其他好文 时间：
2014-12-08 22:59:17
阅读次数：
333
