Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用 ...
分类：
其他好文 时间：
2020-06-02 13:23:04
阅读次数：
70
redis除了5种数据类型之外，还提供了其他功能，如：慢查询，pipeline，事务，发布订阅和消息队列，Bitmap，HyperLogLog，GEO ###1.Bitmap(位图) BitMap，即位图，其实也就是 byte 数组，用二进制表示，只有 0 和 1 两个数字。 就是通过一个bit位来 ...
分类：
其他好文 时间：
2020-05-31 22:02:10
阅读次数：
63
玩爬虫，怎么能少了scrapy框架呢。scrapy框架被称为是复杂并好用的爬虫框架。 当初学框架的时候是一头雾水，一旦实战成功过后，感觉瞬间打通了任督二脉，很有成就感。 接下来，将对scrapy框架爬虫代码编写流程做简要说明： 目录 一、新建工程 二、新建spider 三、定义所需爬取字段 四、解析 ...
分类：
其他好文 时间：
2020-05-29 22:58:57
阅读次数：
175
操作系统学习（十） 目录： 同步的基本概念 同步亦称直接制约关系，它是指为完成某种任务而建立的两个或多个进程，这些进程因为需要在某些位置上协调它们的工作次序而等待、传递信息所产生的制约关系。 也就是相互制约的关系（共享资源） 临界资源和临界区 临界资源： 一段时间内只允许一进程访问的资源 临界区 程 ...
分类：
其他好文 时间：
2020-05-21 14:39:15
阅读次数：
66
pipeline 分为脚本式和声明式，相比于脚本式声明式更主流更强大一些。pipeline 自身有语法语句外还支持groovy 语法，groovy 是一个类似java 语言，更简洁，有各种数据结构，函数，流程控制语句以供使用。 Jenkins是使用Java实现的，所以在很早的时候就引入了groovy ...
分类：
其他好文 时间：
2020-05-20 15:53:39
阅读次数：
86
原文链接：兼容go redis cluster的pipeline批量 前言: redis cluster集群机制是不错，但因为是smart client设计，没有proxy中间层，导致很多redis批量命令在不同slot时不能适配，比如 mset、mget、pipeline等。 该篇文章讲述了red ...
分类：
其他好文 时间：
2020-05-20 12:12:35
阅读次数：
49
一、使用 Azure Pipelines 建立CICD 1.导航到Azure DevOps上的团队项目。 2.导航到 Pipelines | Pipelines. 3. 点击 New pipeline 创建一个新的 build pipeline. 4.单击use the classic editor ...
分类：
其他好文 时间：
2020-05-14 16:03:28
阅读次数：
92
1、官方文档 https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/item-pipeline.html 2、简介 当item在Spider中被收集之后，它会将被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理 ...
分类：
其他好文 时间：
2020-05-11 20:23:00
阅读次数：
71
角色划分 在Elasticsearch中，有很多角色，常用的角色有如下： Master Node：主节点 Master eligible nodes：合格节点 Data Node：数据节点 Coordinating Node：协调节点 Ingest Node：ingest节点 machine lea ...
分类：
其他好文 时间：
2020-05-08 14:44:56
阅读次数：
126
接上篇，继续看看共享库怎么写，实际使用中，不可能只有一个函数，多个时，怎么调用呢？ 先看看官网中，对共享库的几个文件夹的说法 src 目录应该看起来像标准的 Java 源目录结构。当执行流水线时，该目录被添加到类路径下。 vars 目录定义可从流水线访问的全局变量的脚本。 每个 *.groovy 文 ...
分类：
其他好文 时间：
2020-05-06 11:48:13
阅读次数：
75
