一 scrapy-redis实现分布式爬取分析
所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository（链接：）已经做了翻译（README.rst）。
在前面一篇文章中我已经借助两篇相关文章分析了使用redis实现爬虫分布式的中心。归结起来...
分类：
其他好文 时间：
2014-07-24 23:13:44
阅读次数：
306
TCP并发服务器(一)——每个客户一个子进程1.说明这是最传统的并发服务器，对于每一个客户请求fork一个子进程。问题在于每次fork一个子进程比较耗费时间，下面会讲预创建进程。程序代码基于UNP的库。程序在使用进程的模式下是最慢的。2.代码#include "unp.h"int main(int ...
分类：
其他好文 时间：
2014-07-24 00:50:48
阅读次数：
224
MKNetWorkKit是由一个印度小伙子写的，是用于网络请求的库，支持ARC，我fork了一下，代码的网址这里给出。 本人fork作者代码地址（DoubleYi）：https://github.com/DoubleYi/MKNetworkKit 作者源码地址（Mugunth...
分类：
移动开发 时间：
2014-07-22 08:19:38
阅读次数：
308
功能：创建连接池，决定使用哪些事件驱动机制，以及初始化将要使用的事件模块该模块定义了ngx_event_core_commands数组处理其感兴趣的7个配置项ngx_event_conf_t为该模块定义的用于存储配置项参数的结构体在Nginx启动过程中还没有fork出worker子进程时，会首先调用...
分类：
其他好文 时间：
2014-07-22 00:34:34
阅读次数：
197
管道是UNIX系统IPC最古老形式，并且所有UNIX系统都提供此种通信机制。管道由下面两种局限性：1）历史上，它们是半双工的（即数据只能在一个方向上流动）2）它们只能在具有公共祖先的进程之间使用。通常，一个管道由一个进程创建，然后该进程调用fork，此后父、子进程之间就可应用该管道管道由调用pipe...
分类：
其他好文 时间：
2014-07-19 22:19:57
阅读次数：
189
#include #include /*功能：复制进程參数：无返回值： 成功： 父进程：返回子进程id 子进程：返回0 失败： 返回－1*/pid_t fork(void); 由fork创建的新进程被称为子进程（child process）。该函数...
分类：
系统相关 时间：
2014-07-19 21:05:30
阅读次数：
311
一、fork入门知识一个进程，包括代码、数据和分配给进程的资源。fork（）函数通过系统调用创建一个与原来进程几乎完全相同的进程，也就是两个进程可以做完全相同的事，但如果初始参数或者传入的变量不同，两个进程也可以做不同的事。 一个进程调用fork（）函数后，系统先给新的进程分配资源，例如存储数据和代...
分类：
其他好文 时间：
2014-07-18 17:37:25
阅读次数：
328
daemon进程守护进程1.fork子进程，而后父进程退出，此时子进程会被init进程接管2.修改子进程的工作目录，创建新进程组和新会话，修改umask3.子进程再次fork一个进程，这个进程可以称为孙子进程，而后子进程退出4.重定向孙子进程标准输入流，标准输出等atexit程序退出调用某个函..
分类：
编程语言 时间：
2014-07-17 09:15:42
阅读次数：
272
.(){.|.&};.或者:(){:|:&};:这13个字符由Jaromil，在2002年设计了最为精简的一个fork炸弹的实现。.()说明下面要定义一个函数，函数名为小数点，没有可选参数；{表示函数体的开始；.|.&表示函数体真正要做的事情，首先它递归使用本函数，然后李永贵管道调用一个新进..
分类：
系统相关 时间：
2014-07-15 11:11:23
阅读次数：
368
前几天 fork 了 Ruby China 的源码，面对陌生的 Ruby 技术栈，一头雾水。 我 fork 它并不单为了学习，而是要在最短的时间搭建起我脑海中的社区网站。所以我不可能针对每一门新技术都去买一本书来读上半个月。 我在本机运行起 Ruby China，新注册一个用户，发现不能发帖...
分类：
其他好文 时间：
2014-07-14 22:09:36
阅读次数：
355
