本文目录memcached在数据删除方面有效利用资源·数据不会真正从memcached中消失·LazyExpiration·LRU:从缓存中有效删除数据的原理memcached的最新发展方向·关于二进制协议·二进制协议的格式·HEADER中引人注目的地方外部引擎支持·外部引擎支持的必要性·简单API...
分类:
系统相关 时间:
2014-11-24 17:10:23
阅读次数:
232
本文目录memcached的分布式·memcached的分布式是什么意思?·Cache::Memcached的分布式方法·根据余数计算分散·根据余数计算分散的缺点ConsistentHashing·ConsistentHashing的简单说明·支持ConsistentHashing的函数库·总结me...
分类:
编程语言 时间:
2014-11-24 17:07:40
阅读次数:
291
memcached是什么?memcached是以LiveJournal旗下DangaInteractive公司的BradFitzpatric为首开发的一款软件。现在已成为豆瓣、Facebook、Vox等众多服务中提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中,应用服务器从中...
分类:
系统相关 时间:
2014-11-24 17:03:18
阅读次数:
260
本文目录SlabAllocation机制:整理内存以便重复使用·SlabAllocation的主要术语·在Slab中缓存记录的原理·SlabAllocator的缺点·使用GrowthFactor进行调优·查看memcached的内部状态·查看slabs的使用状况·内存存储的总结SlabAllocat...
分类:
系统相关 时间:
2014-11-24 16:54:30
阅读次数:
215
本人不算忠实的游戏迷,偶尔玩下游戏,总喜欢注册一个级数低下的去虐高级的。所以一直想写一个小工具方便注册帐号、批量注册帐号,本软件总共出了2个版本,第2个版本才算正在的简单快捷注册帐号。将分为以下几篇文章来阐述本次开发:1、工具篇2、抓包、分析篇3、开发篇4、总结篇
分类:
Web程序 时间:
2014-11-21 18:02:55
阅读次数:
181
默认的Scrapy项目结构
在开始对命令行工具以及子命令的探索前,让我们首先了解一下Scrapy的项目的目录结构。
虽然可以被修改,但所有的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/...
分类:
其他好文 时间:
2014-11-20 12:05:38
阅读次数:
144
Items
爬取的主要目标就是从非结构性的数据源提取结构性数据,例如网页。 Scrapy提供 Item 类来满足这样的需求。
Item 对象是种简单的容器,保存了爬取到得数据。
其提供了 类似于词典(dictionary-like) 的API以及用于声明可用字段的简单语法。
声明Item
Item使用简单的class定义语法以及 Field 对象来声明。例如:
...
分类:
其他好文 时间:
2014-11-20 12:04:35
阅读次数:
383
Spiders
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
对spider来说,爬取的循环类似下文:
以初始的URL初始化Request,并设置回调函数。 当该request下载完毕并返回时,将生...
分类:
Web程序 时间:
2014-11-20 12:04:07
阅读次数:
329
避免被禁止(ban)
有些网站实现了特定的机制,以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易,需要技巧,有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持 。
下面是些处理这些站点的建议(tips):
使用user agent池,轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆)禁止cookies(参考 ...
分类:
其他好文 时间:
2014-11-20 12:02:41
阅读次数:
239
原文地址:http://adamlu.net/dev/2011/09/rabbitmq-get-started/这系列教程是翻译官方入门教程。第一部分:Hello World第二部分:工作队列(Work queues)第三部分:发布/订阅(Publish/Subscribe)第四部分:路由(Rout...
分类:
其他好文 时间:
2014-11-14 12:13:30
阅读次数:
559