管道技术(Pipeline)是客户端提供的一种批处理技术，用于一次处理多个Redis，从而提高整个交互的性能。 通常情况下Redis是单线程执行的，客户端先向服务器发送请求，服务端接收并处理请求、然后把结果返回给客户端，这种处理模式在非频繁请求时不会出现任何问题。 但如果出现集中大批量请求时，因为每 ...
分类：
其他好文 时间：
2020-07-15 16:06:34
阅读次数：
78
上一篇我们介绍到通过 Date Warehouse T-SQL Script 来实现 CDC 数据的 ETL 和 Update，本篇 Blog 带大家通过 Data Factory 工具将该数据处理水线实现自动话，大体思路是将前面的 Data Warehouse ETL 和 Update 通过存储过 ...
分类：
其他好文 时间：
2020-07-14 00:56:14
阅读次数：
98
Pipeline可以将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。主要带来两个好处： 1.直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测 2.可以结合grid search对参数进行选择 在下面的例子中，我们使用 ...
分类：
其他好文 时间：
2020-07-06 16:10:14
阅读次数：
45
# -*- coding: utf-8 -*- # Define your item pipelines here # # Don't forget to add your pipeline to the ITEM_PIPELINES setting # See: https://docs.scra ...
分类：
其他好文 时间：
2020-06-28 09:23:45
阅读次数：
56
1. Scrapy使用了Twisted异步网络库来处理网络通讯，整体架构： Scrapy爬虫框架主要由5个部分组成，分别是：Scrapy Engine（Scrapy引擎），Scheduler（调度器），Downloader（下载器），Spiders（蜘蛛），Item Pipeline（项目管道）。爬 ...
分类：
其他好文 时间：
2020-06-26 10:21:18
阅读次数：
58
使用Stream已经快3年了，但是从未真正深入研究过Stream的底层实现。 今天开始把最近学到的Stream原理记录一下。 本篇文章简单描述一下自己对pipeline的理解。 基于下面一段代码： public static void main(String[] args) { List<Strin ...
分类：
其他好文 时间：
2020-06-26 01:36:40
阅读次数：
99
Airflow 入门及使用 Airflow 入门及使用 什么是 Airflow？ Airflow 是一个使用 python 语言编写的 data pipeline 调度和监控工作流的平台。 Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务 ...
分类：
其他好文 时间：
2020-06-25 13:31:57
阅读次数：
98
script script is the only required keyword that a job needs. It's a shell script which is executed by the Runner. For example: job: script: "bundle ex ...
分类：
其他好文 时间：
2020-06-23 18:56:37
阅读次数：
111
一、sklearn数据集变换 数据预处理、特征抽取、 特征变换、 维数约简 二、Pipeline和FeatureUnion 三、特征抽取之字典向量化和哈希变换 特征抽取： Feature Extraction Loading Feature From Dicts Features hashing T ...
分类：
其他好文 时间：
2020-06-22 01:12:12
阅读次数：
72
jenkins：是开源，可扩展的持续集成、交付、部署的平台。CI/CD：持续集成/持续交付持续集成：不同开发人员将提交代码整合到系统上。持续交付：将集成后的代码部署到更贴近真实运行环境中。pipeline：管道，在管道脚本中控制服务构建的流程， 可能包括checkstyle，findbugs，dep ...
分类：
编程语言 时间：
2020-06-21 12:14:05
阅读次数：
117
