个人觉得，jenkins当然是最重要的还是这部分知识点 首先讲解一下java的后台运用 先添加对应着pipeline的参数 Save_Tag_Name Code_Sacn build_mode Tag_Message 以上四个参数 讲解pipeline 这里还是比较清晰的，agnet选择了slave ...
分类：
其他好文 时间：
2020-06-18 16:32:43
阅读次数：
53
问题描述： jenkins安装在Linux服务器 Jenkins下执行pipeline脚本生成allure报告，报错： java.io.IOException: Can't find allure commandline <null>完整报错信息： java.io.IOException: Can' ...
分类：
系统相关 时间：
2020-06-17 12:47:14
阅读次数：
142
整个 CICD 流程大致如下： 这里 jenkins/gitlab/harbor 都是现成的哈，主要记录一下集成过程和其中遇到的问题。 1、创建一个流水线任务 2、填写项目描述 3、编写 pipeline 脚本和其中调用的 shell 脚本 pipeline { agent any environm ...
分类：
编程语言 时间：
2020-06-17 01:36:26
阅读次数：
209
scrapy为下载的item中包含的文件提供了一个可重用的item pipeline（scrapy.pipelines.media.MediaPipeline），这些Pipeline有些共同的方法和结构。 MediaPipeline共同实现了以下特性： （1）避免重新下载最近已经下载过的数据 （2） ...
分类：
其他好文 时间：
2020-06-16 20:34:49
阅读次数：
62
使用Pipeline保存结果 WebMagic用于保存结果的组件叫做Pipeline.我们现在通过“控制台输出结果”，这件事也是通过一个内置的Pipeline完成的，它叫做ConsolePipeline 代码： package cn.itcast.webmagic;import us.codecra ...
分类：
Web程序 时间：
2020-06-16 18:11:03
阅读次数：
71
pipeline 只是把多个redis指令一起发出去，redis并没有保证这些指定的执行是原子的；multi相当于一个redis的transaction的，保证整个操作的原子性，避免由于中途出错而导致最后产生的数据不一致。通过测试得知，pipeline方式执行效率要比其他方式高10倍左右的速度，启用 ...
分类：
其他好文 时间：
2020-06-16 15:19:15
阅读次数：
59
WebMagic 一款爬虫框架 WebMagic项目代码分为核心和扩展两部分。 核心部分是一个精简的、模块化的爬虫实现 扩展部分则是包括一些便利的、实用性的功能 架构介绍 WebMagic的结构分为四部分：Downloader、PageProcessor、 Scheduler、Pipeline四大组 ...
分类：
Web程序 时间：
2020-06-16 01:12:12
阅读次数：
93
Jenkins插件开发完全示例 插件功能 在Jenkins构建之前选择Slave Server进行构建。 Slave Server搭建 准备工作 安装Java 安装Maven 命名规约 artifactId： 使用小写 ID ，并根据需要使用连字符分隔术语 除非名称有任何意义，否则不要在 ID 中包 ...
分类：
其他好文 时间：
2020-06-15 17:34:43
阅读次数：
63
Argo是一个开源原生容器工作流引擎用于在Kubernetes上开发和运行应用程序。Argo Workflow流程引擎，可以编排容器流程来执行业务逻辑，在20年4月8日进入CNCF孵化器组。 而KubeFlow的Pipeline子项目，由Google开源，其全面依赖Argo作为底层实现，并增强持久层 ...
分类：
其他好文 时间：
2020-06-13 10:55:34
阅读次数：
118
通过前面两篇文章，我们已经有了一个“嗷嗷待哺”的K8s集群环境，也对相关的概念与组件有了一个基本了解（前期对概念有个印象即可，因为只有实践了才能对其有深入理解，所谓“纸上得来终觉浅，绝知此事要躬行”），本文从实践角度介绍如何结合我们常用的Gitlab与Jenkins，通过K8s来实现项目的自动化部署 ...
分类：
其他好文 时间：
2020-06-06 18:16:52
阅读次数：
58
