码迷,mamicode.com
首页 >  
搜索关键字:pipeline    ( 335个结果
webmagic自定义存储(mysql、redis存储)
在很多时候,我们使用webmagic爬取网站的时候,爬取的数据希望存储在mysql、redis中。因此需要对其扩展,实行自定义PipeLine。首先我们了解一下webmagic 的四个基本组件 一、 WebMagic的四个组件 1、Downloader Downloader负责从互联网上下载页面,以 ...
分类:数据库   时间:2017-06-19 00:28:29    阅读次数:11
netty用法总结
/**decoder和encoder,如果不需要解析,就使用系统的 * ch.pipeline().addLast(new StringDecoder()); * ch.pipeline().addLast(new StringEncoder()); * 如果使用自己的规则解析,那就写自己的,就如下... ...
分类:Web程序   时间:2017-06-16 00:50:28    阅读次数:8
Item Pipeline
当Item在Spider中被收集之后,它将会被传递到Item Pipeline,一些组件会按照一定的顺序执行对Item的处理。 每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为,同时也决定此Item ...
分类:其他好文   时间:2017-06-14 21:13:16    阅读次数:10
【java8】为java8的foreach正名
首先为自己没有经过严格测试得出的错误结论感到抱歉,原博文,测试完感觉自己发现了一个新bug,后来思前想后觉得不应该是这样的,如果效率差的这么多,jdk的开发人员会不去优化它吗,但是怎么重复测试任然得到一样的结果,非常疑惑。 我觉得应该是测试方法出问题了,可是怎么也想不到原因,后来了解到jmh,深入研 ...
分类:编程语言   时间:2017-06-08 23:36:28    阅读次数:31
在网络I/O模型方面Netty采用基于非阻塞I/O的实现
第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。 第二层:职责链Pipeline层 ...
分类:Web程序   时间:2017-06-08 21:24:48    阅读次数:15
提供了对GoogleProtobuf二进制序列化框架的支持
第一层:Reactor通信调度层。该层的主要职责就是监听网络的连接和读写操作,负责将网络层的数据读取到内存缓冲区中,然后触发各种网络事件,例如连接创建、连接激活、读事件、写事件等,将这些事件触发到Pipeline中,再由Pipeline充当的职责链来进行后续的处理。 第二层:职责链Pipeline层 ...
分类:其他好文   时间:2017-06-08 20:27:25    阅读次数:9
学习使用Docker、Docker-Compose和Rancher搭建部署Pipeline(一)
这篇文章是一系列文章的第一篇,在这一系列文章中,我们想要分享我们如何使用Docker、Docker-Compose和Rancher完成容器部署工作流的故事。我们想带你从头开始走过pipeline的革命历程,重点指出我们这一路上遇到的痛点和做出的决定,而不只是单纯的回顾。幸好有很多优秀的资源可..
分类:其他好文   时间:2017-06-08 10:29:49    阅读次数:13
shell第四篇(上)
第四篇了解Shell 命令执行顺序分析 Shell 从标准输入或脚本中读取的每一行称为管道(pipeline);它包含了一个或多个命令(command),这些命令被一个或多个管道字符(|)隔开 事实上还有很多特殊符号可用来分隔单个的命令:分号(;)、管道(|)、&、逻辑AND (&&),还有逻辑OR ...
分类:系统相关   时间:2017-06-06 23:33:07    阅读次数:16
Redis大幅性能提升之Batch批量读写
Redis大幅性能提升之Batch批量读写 提示:本文针对的是StackExchange.Redis 一、问题呈现 前段时间在开发的时候,遇到了redis批量读的问题,由于在StackExchange.Redis里面我确实没有找到PipeLine命令,找到的是Batch命令,因此对其用法进行了探究一 ...
分类:其他好文   时间:2017-06-04 12:46:01    阅读次数:11
Redis学习笔记4--Redis管道(pipeline)
Redis是一个cs模式的tcp server,使用和http类似的请求响应协议。一个client可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务处理,redis处理完后请求命令后会将结果通过响应报文返回给client。基本的通信过程如下: ...
分类:其他好文   时间:2017-06-03 14:10:43    阅读次数:19
335条   1 2 3 4 ... 34 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!