items.py spiders/coser.py pipelines.py settings.py 在项目根目录下新建main.py文件,用于调试 执行程序 ...
分类：
其他好文 时间：
2019-12-13 21:28:16
阅读次数：
79
概念 流（stream）是 Node.js 中处理流式数据的抽象接口。 stream 模块用于构建实现了流接口的对象。 Node.js 提供了多种流对象。 例如，HTTP 服务器的请求和 process.stdout 都是流的实例。 流可以是可读的、可写的、或者可读可写的。 所有的流都是 Event ...
分类：
其他好文 时间：
2019-12-13 09:16:56
阅读次数：
89
任务队列中的Task有3种典型使用场景 1. 用户程序自定义的普通任务 此前代码: 参考https://www.cnblogs.com/ronnieyuan/p/12016712.html NettyServerHandler代码有改动: 打上断点,debug启动 左键点击ctx pipeline ...
分类：
Web程序 时间：
2019-12-10 17:04:53
阅读次数：
206
上一篇服务版本的新增，是通过触发 gitlab 任务来实现的，那么如何得到任务的最终状态呢？ 好在 gitlab 为我们提供了webhook，也就是消息钩子，可以发送pipeline消息到我们指定的地址。 当我们收到消息后，就可以跟据任务的最终状态(成功or失败)来更新数据库里相应的版本： 失败时直 ...
分类：
其他好文 时间：
2019-12-09 14:05:37
阅读次数：
116
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用： 验证爬取的 ...
分类：
其他好文 时间：
2019-12-07 14:28:40
阅读次数：
114
#-*- coding: utf8 -*- import redis pool = redis.ConnectionPool() r = redis.Redis(connection_pool=pool) # 支持事务 pipe = r.pipeline(transaction=True) pipe ...
分类：
其他好文 时间：
2019-12-06 21:11:51
阅读次数：
100
Part I: Introduction to Shaders In Unity Chapter 1: How Shader Development Works Chapter 2: Your First Unity Shader Chapter 3: The Graphics Pipeline C ...
分类：
编程语言 时间：
2019-12-05 13:35:41
阅读次数：
127
Netty工作原理图 netty抽象出了两组线程池，BossGroup专门负责客户端 的连接，WorkerGroup专门负责网络读写。 BossGroup和WorkerGroup 类型都是NioEventLoopGroup NioEventLoopGroup相当于一个事件循环组，这个组中含有多个事件 ...
分类：
Web程序 时间：
2019-12-02 00:43:59
阅读次数：
92
第一周的内容就是完成一个项目 Finding Lane Line，是免费试看的，网页版的，最多三四个小时就能看完。 讲的就是整个pipeline，一分钟视频版可以在这里看完：https://www.youtube.com/watch?v=xknesDIgOcA 或者看这个博客https://medi ...
分类：
其他好文 时间：
2019-12-01 11:59:40
阅读次数：
122
Pipeline和ChannelHandler是Netty处理流程的重要组成部分，ChannelHandler对应一个个业务处理器，Pipeline则是负责将各个ChannelHandler串起来的“容器”，二者结合起来一起完成Netty的处理流程。 Pipeline 每个channel内部都会持有 ...
分类：
Web程序 时间：
2019-11-30 20:51:00
阅读次数：
107
