安装和文档: 安装：通过pip install scrapy即可安装。 Scrapy官方文档：http://doc.scrapy.org/en/latest Scrapy中文文档：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html 如果在 ...
分类：
其他好文 时间：
2020-03-06 10:57:57
阅读次数：
71
1.Job Managers、Task Managers、客户端（Clients） Flink 运行时包含两类进程： JobManagers （也称为 masters）协调分布式计算。它们负责调度任务、协调 checkpoints、协调故障恢复等。 每个 Job 至少会有一个 JobManager。 ...
分类：
其他好文 时间：
2020-02-23 11:54:37
阅读次数：
106
前言Pipeline名词顾名思义就是流水线的意思，因为公司可能会有很多项目，如果使用jenkins构建完成后，开发构建项目需要一项一项点击，比较麻烦，因此，pipeline就应用而生了。部署Pipeline——代码流水线管理1）环境准备：IP地址Jenkins192.168.1.8测试端192.168.1.7部署Jenkins可以参考Jenkins+Gitlab实现持续集成2）Jenkins服务器
分类：
其他好文 时间：
2020-02-21 10:04:17
阅读次数：
85
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 流水线(PipeLine)，简单地理解就是客户端向DataNode传输数据(Packet)和接收DataNode回复(ACK)[Acknowledge]的数据通路。 整条流水线由若干个DataNode串 ...
分类：
其他好文 时间：
2020-02-20 23:44:31
阅读次数：
94
根据我的经验，通常在API中记录请求和响应。这样做可以帮助开发人员调试问题并提供有价值的性能指标。在本教程中，我将介绍如何为ASP.NET Core 3 Web API创建基本的日志记录解决方案。在这篇文章的结尾，我们将有一个有效的日志记录解决方案，它将记录每个请求以及对控制台和文件系统的响应，并且 ...
分类：
Web程序 时间：
2020-02-19 15:05:16
阅读次数：
134
pipeline 添加 handler 的时候，如果没有指定线程池，则使用 channel 的 IO 线程池，即 NioEventLoop。 所以，NioEventLoop 的作用是，轮询 SocketChannel 的网络事件，同时也可以处理 handler 中的代码。 public interf ...
分类：
编程语言 时间：
2020-02-18 18:04:46
阅读次数：
122
今天webmaigic爬虫又学了一个小技巧，想要自己设计保存爬取内容形式，可以不用重写Pipeline，在process()方法中写上，你想要的保存操作，多数情况可以达到相同的效果，我的爬虫程序，想要将内容保存在一个txt中，就是这么实现的，个人感觉简单很多，也是看了网上的高手的文章，才学到了这个技 ...
分类：
其他好文 时间：
2020-02-15 22:03:42
阅读次数：
77
目标：源表到目标表数据的复制（copy data） 在用adf的时候中间有个pipeline是做upsert工作。 这里需要调用一个存储过程，因为有很多表，所以需要写一个公用的存储过程。 1 CREATE PROCEDURE proc_update //需要传入目标表的名字 2 @target_ta ...
分类：
数据库 时间：
2020-02-12 16:27:44
阅读次数：
89
Jenkins Job构建 jenkins安装见https://www.cnblogs.com/wengshaohang/p/12272952.html Freestyle Job与Pipeline Job区别： Freestyle Job需要在页面添加模块配置项与参数完成配置；每个Job仅能实现一 ...
分类：
其他好文 时间：
2020-02-07 17:04:40
阅读次数：
76
内容目录： 1. jenkins 概述与环境配置 2. 基于jenkins 实现可持续化集成 3. jenkins pipeline 核心应用 一、jenkins 概述与环境配置 1. 关于可持续化集成 （CI） 2. jenkins 概述 3. 下载安装jenkins 4. 基础环境配置与常用插件 ...
分类：
其他好文 时间：
2020-02-07 16:35:13
阅读次数：
49
