背景：pip安装一直不成功，很多模块用pip安装都不行，只好到github下载zip安装c:\Document and settings\> python e:\scrapy-0.24\setup.py install结果失败，提示[err2] no such file or directory: ...
分类：
其他好文 时间：
2014-08-22 15:56:18
阅读次数：
235
利用xpath()分析抓取数据还是比较简单的，只是网址的跳转和递归等比较麻烦。耽误了好久，还是豆瓣好呀，URL那么的规范。唉，亚马逊URL乱七八糟的.... 可能对url理解还不够. amazon
├──?amazon
│??...
分类：
编程语言 时间：
2014-08-22 05:03:45
阅读次数：
3369
在分析和处理选择内容时，还需注意页面的JS可能会修改DOM树结构。 （一）GitHub的使用 ????由于之前使用Win，没使用过shell的。目前只是了解。以后再补充。找到几个不错的教程 ? ? ????GitHub超...
分类：
编程语言 时间：
2014-08-21 09:55:44
阅读次数：
251
官方文档： http://doc.scrapy.org/en/latest/ ??? github例子： https://github.com/search?utf8=%E2%9C%93&q=scrapy ????剩下的待会再整理...... 买饭去......?????? --2014年08月20日19:...
分类：
编程语言 时间：
2014-08-20 19:45:13
阅读次数：
243
采集时，有时候需要采集图片，但某些网站的图片提供的相对地址，最好转换成绝对地址在scrapy中有如下的解决策略http://stackoverflow.com/questions/6499603/python-scrapy-convert-relative-paths-to-absolute-pathshttp://stackoverflow.com/questions/19970015/scrapy-item-..
分类：
编程语言 时间：
2014-08-20 16:38:23
阅读次数：
239
scrapy升级比较频繁，有一些标签经常被废弃掉了比如读取配置文件setting.py原来用的fromscrapy.confimportsettings就废弃掉了那怎么用新的呢？官方文档用的是装饰器方法有一个更简单的方法fromscrapy.utils.projectimportget_project_settingssettings=get_project_settings()..
分类：
其他好文 时间：
2014-08-20 14:22:53
阅读次数：
246
（1）创建scrapy项目 scrapy?startproject?getblog ????（2）编辑 items.py #?-*-?coding:?utf-8?-*-
#?Define?here?the?models?for?your?scraped?items
#
#?See?documentation?i...
分类：
编程语言 时间：
2014-08-20 07:06:56
阅读次数：
262
Scrapy框架，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 ????刚开始学习这个框架。不...
分类：
编程语言 时间：
2014-08-20 04:00:06
阅读次数：
302
Passing Data to the Vertex ShaderVertex AttributesAt the start of the OpenGL pipeline,we use the in keyword to bring inputs into the vertex shader.Bet...
这几天正好有需求实现一个爬虫程序，想到爬虫程序立马就想到了python，python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了，正好发现了python有一个开源库scrapy，正是用来实现爬虫框架的，于是果断采用这个实现。下面就先安装scrapy，决定在windows下面安...
