Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。...
分类：
其他好文 时间：
2014-11-19 01:40:39
阅读次数：
364
最近看scrappy0.24官方文档看的正心烦的时候，意外发现中文翻译0.24文档，简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/ ????结合官方文档例子，简单整理一下： import?scrapy
from...
分类：
编程语言 时间：
2014-11-10 18:17:09
阅读次数：
251
前段时间细节的了解了Jedis的使用，Jedis是redis的java版本的客户端实现。本文做个总结，主要分享如下内容：【pipeline】【分布式的id生成器】【分布式锁【watch】【multi】】【redis分布式】好了，一个一个来。一、 Pipeline官方的说明是：starts a pip...
分类：
其他好文 时间：
2014-11-10 16:59:43
阅读次数：
300
1.流水线结构 pipeline – MIPS 是最简单的体系结构之一，所以使大学喜欢选择 MIPS 体系结构来介绍计算体系结构课程。 – ARM has barrel shifter shifter是两面性的，一方面它可以提高数学逻辑运算速度，另一方面它也增加了硬件的复杂性。所以...
分类：
其他好文 时间：
2014-11-08 18:13:57
阅读次数：
226
程序pipe, 它使用可例如： ./pipe who sort ./pipe ls head 1 /* pipe.c 2 * Demostrates how to create a pipeline from one process to another 3 * * take two args...
分类：
系统相关 时间：
2014-11-06 23:34:02
阅读次数：
353
Pipeline。它的含义就是管道，一个管道可以安装很多的阀门，可以有很多分支。它用于控制页面的处理流程。它需要定义在pipeline.xml文件中，该文件中的每个标签都是一个阀门。该文件中可以放一些简单的控制语句。在项目中，下面这样的管道配置就已经够用了。
...
分类：
Web程序 时间：
2014-11-03 22:33:44
阅读次数：
300
1.Scrapy是什么？2.如何安装Scrapy?2.如何构建一个简单的spider？3.如何解析HTML？4.如何写入数据库？关于ScrapyScrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。安装Scrapy1.需要安装Python..
分类：
微信 时间：
2014-11-03 01:35:14
阅读次数：
1195
pipeline-filter作为一种处理数据的模式,可以将应用的任务划分为几个自我完备的数据处理步骤，并连接到一个数据管道。本文介绍一种不太常见的pipeline-filter的变体——尾循环的pipeline-filter....
分类：
其他好文 时间：
2014-10-31 15:38:37
阅读次数：
291
这个事，折腾了仨小时。记下来。别再走弯路。一链接地址：查看源代码是这样的：通过审查元素看，是这样的：而，真正的地址，是这样的（scrapy 中 response.body ）：
分类：
其他好文 时间：
2014-10-28 13:51:30
阅读次数：
151
1.什么是MLBaseMLBase是Spark生态圈的一部分，专注于机器学习，包含三个组件：MLlib、MLI、ML Optimizer。ML Optimizer: This layer aims to automating the task of ML pipeline construction....
分类：
编程语言 时间：
2014-10-19 18:30:41
阅读次数：
336
