scrapy安装脚本#######installdependentpackageanddevelopment-lib#######
yum-yinstallgcczlibzlib-developensslopenssl-develbzip*libxml2*libxslt*libffi-devellibffi
#######installpython-2.7.7
wget‘https://www.python.org/ftp/python/2.7.7/Python-2.7.7.tgz‘
tar-zxvf..
分类：
编程语言 时间：
2014-12-04 15:53:54
阅读次数：
207
Scrapy 是一个python下的网络爬虫工具，目前只有python2.x的版本。安装 Scrapy需要的支持库比较多，安装时挺繁琐的，测试直接用easy_install 或者 pip安装会自动下载安装需要的支持库，但是因为网络或其他种种原因总是安装失败，最好还是各个安装包分开安装。下载安装Mi....
分类：
编程语言 时间：
2014-12-02 20:30:18
阅读次数：
204
这俩天研究了下scrapy爬虫框架，遂准备写个爬虫练练手。平时做的较多的事情是浏览图片，对，没错，就是那种艺术照，我骄傲的认为，多看美照一定能提高审美，并且成为一个优雅的程序员。O(∩_∩)O~ 开个玩笑，那么废话不多说，切入正题吧，写一个图片爬虫。 设计思路：爬取目标为美空网模特照片，利...
分类：
其他好文 时间：
2014-11-29 23:03:02
阅读次数：
280
这个框架关注了很久，但是直到最近空了才仔细的看了下这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性，等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来。先说明下这个玩具爬虫的目的能够将种子URL页面当中的小组进行爬取并分析出有..
分类：
数据库 时间：
2014-11-28 06:28:08
阅读次数：
491
默认的Scrapy项目结构
在开始对命令行工具以及子命令的探索前，让我们首先了解一下Scrapy的项目的目录结构。
虽然可以被修改，但所有的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/...
分类：
其他好文 时间：
2014-11-20 12:05:38
阅读次数：
144
Items
爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy提供 Item 类来满足这样的需求。
Item 对象是种简单的容器，保存了爬取到得数据。
其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。
声明Item
Item使用简单的class定义语法以及 Field 对象来声明。例如:
...
分类：
其他好文 时间：
2014-11-20 12:04:35
阅读次数：
383
Spiders
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说，爬取的循环类似下文:
以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生...
分类：
Web程序 时间：
2014-11-20 12:04:07
阅读次数：
329
避免被禁止(ban)
有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。
下面是些处理这些站点的建议(tips):
使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)禁止cookies(参考 ...
分类：
其他好文 时间：
2014-11-20 12:02:41
阅读次数：
239
