这个框架关注了很久，但是直到最近空了才仔细的看了下这里我用的是scrapy0.24版本先来个成品好感受这个框架带来的便捷性，等这段时间慢慢整理下思绪再把最近学到的关于此框架的知识一一更新到博客来。先说明下这个玩具爬虫的目的能够将种子URL页面当中的小组进行爬取并分析出有..
分类：
数据库 时间：
2014-11-28 06:28:08
阅读次数：
491
图形管线（graphics pipeline）向来以复杂为特点，这归结为图形任务的复杂性和挑战性。OpenGL作为图形硬件标准，是最通用的图形管线版本。本文用自顶向下的思路来简单总结OpenGL图形管线，即从最高层开始，然后逐步细化到管线图中的每个框，再进一步细化到OpenGL具体函数。注意，这里用...
分类：
其他好文 时间：
2014-11-25 15:58:36
阅读次数：
387
GroupToday's workTomorrow's workMVVM--AlgoMotion effect settingMusic collection featuringFinish all the pipeline of effect specificationFinish music p...
分类：
其他好文 时间：
2014-11-24 22:02:03
阅读次数：
210
redis pipelineredis是一个cs模式的tcp server，使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常 会阻塞并等待redis服务处理，redis处理完后请求命令后会将结果通过响应报文返回给cli...
分类：
其他好文 时间：
2014-11-23 21:35:46
阅读次数：
219
项目名称Pipeline项目版本Alpha版本负责人北京航空航天大学计算机学院 C705团队联系方式http://www.cnblogs.com/C705/发布日期2014-11-23更新内容：1.修复缺陷： a)中英文分词算法改进 b)提取文档信息改进 c)提取关键词结构优化 d)修复与爬...
分类：
其他好文 时间：
2014-11-23 13:06:01
阅读次数：
318
默认的Scrapy项目结构
在开始对命令行工具以及子命令的探索前，让我们首先了解一下Scrapy的项目的目录结构。
虽然可以被修改，但所有的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/...
分类：
其他好文 时间：
2014-11-20 12:05:38
阅读次数：
144
Items
爬取的主要目标就是从非结构性的数据源提取结构性数据，例如网页。 Scrapy提供 Item 类来满足这样的需求。
Item 对象是种简单的容器，保存了爬取到得数据。
其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。
声明Item
Item使用简单的class定义语法以及 Field 对象来声明。例如:
...
分类：
其他好文 时间：
2014-11-20 12:04:35
阅读次数：
383
Spiders
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说，爬取的循环类似下文:
以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生...
分类：
Web程序 时间：
2014-11-20 12:04:07
阅读次数：
329
避免被禁止(ban)
有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。
下面是些处理这些站点的建议(tips):
使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)禁止cookies(参考 ...
分类：
其他好文 时间：
2014-11-20 12:02:41
阅读次数：
239
Item 字段名必须是image_urls即：image_urls = Field()item['image_urls']的类型是一个list。item['image_urls'] = "http://some.jpg" 是不行的。会有如下错误： Traceback (most recent cal...
分类：
其他好文 时间：
2014-11-19 12:12:09
阅读次数：
229
