练习介绍 要求： 本练习需要运用scrapy的知识，爬取豆瓣图书TOP250（https://book.douban.com/top250 ）前2页的书籍（50本）的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star ...
分类：
其他好文 时间：
2019-05-12 00:59:31
阅读次数：
135
一、概念 什么是devops，基于Gitlab从零开始搭建自己的持续集成流水线(Pipeline) https://blog.csdn.net/chengzi_comm/article/details/78778284 在编程中create、develop、build的意思 https://clou ...
分类：
其他好文 时间：
2019-05-10 19:06:11
阅读次数：
137
3、Pipeline 3.1 Pipeline概念 Redis客户端执行一条命令分为如下四个过程： (1)发送命令 (2)命令排队 (3)命令执行 (4)返回结果 其中(1)和(4)称为Round Trip Time(RTT，往返时间)。 Redis提供了批量操作命令( 例如mget、mset等) ...
分类：
其他好文 时间：
2019-05-03 18:32:47
阅读次数：
117
Redis提供了5种数据结构已经足够强大，但除此之外，Redis还提供了诸如慢查询分析、功能强大的Redis Shell、Pipeline、事务与Lua脚本、Bitmaps、HyperLogLog、发布订阅、GEO等附加功能，这些功能可以在某些场景发挥重要作用。 慢查询分析：通过慢查询分析，找出有问 ...
分类：
系统相关 时间：
2019-05-03 11:12:37
阅读次数：
145
不论是NioServerSocketChannel，还是NioSocketChannel，最终都会调用父类AbstractChannel的构造函数，pipeline也在channel被创建的时候被创建。 而这里是创建了一个DefaultChannelPipeline。构造函数会保存传入的channe ...
分类：
Web程序 时间：
2019-05-02 23:44:10
阅读次数：
256
1.Jenkins 2.0 的精髓是 Pipeline as Code 2.不错的文档 Jenkins 2.0 的精髓是 Pipeline as Code，是帮助 Jenkins 实现 CI 到 CD 转变的重要角色。Pipeline是一套运行于 Jenkins 上的工作流框架，将原本独立运行于单个 ...
分类：
其他好文 时间：
2019-05-02 00:35:28
阅读次数：
198
需求：需要做一个后台上传TXT文件，读取其中的内容，然后导入redis库中。要求速度快，并且支持至少10W以上的数据，而内容也就一个字段存类似openid和QQ 传统做法：我一开始做的时候就老套路，遍历、hset，然后就发现非常的慢，一千条数据就花了30-32秒，当时就觉得不行，于是就请教了一个大佬 ...
分类：
Web程序 时间：
2019-04-28 12:36:51
阅读次数：
198
简介Pipeline，简而言之，就是一套运行于Jenkins上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂流程编排与可视化。Pipeline是Jenkins2.X的最核心的特性，帮助Jenkins实现从CI到CD与DevOps的转变。一，创建pipeline项目二，清除部分历史构建三，参数化构建这里使用三个参数，分别对应是否拉取代码，项目名称，以及发版选
分类：
编程语言 时间：
2019-04-26 15:03:31
阅读次数：
150
