scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 ...
分类：
其他好文 时间：
2018-04-01 00:01:25
阅读次数：
996
一、将爬取的数据保存到mysql数据库的代码（已经能将爬取的数据保存到json文件） （1）编辑Pipeline.py文件 （2）编辑settings.py文件 二、将数据保存至mysql数据库出现的问题 （1）在将数据存储至数据库的时候，一直报1366的错，经查资料，发现是数据编码的问题，在博客里 ...
分类：
数据库 时间：
2018-03-31 17:31:50
阅读次数：
388
scrapy-redis插件：实现分布式爬虫。 scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 pip3 install scrapy-redis 一，url去重 二，调度器 三，数据持久化 四，起始url 五，eg # D ...
分类：
其他好文 时间：
2018-03-30 23:14:58
阅读次数：
355
前言 本文继续讲解TOMCAT的请求原理分析，建议朋友们阅读本文时首先阅读过《TOMCAT源码分析——请求原理分析（上）》和《TOMCAT源码分析——请求原理分析（中）》。在《TOMCAT源码分析——请求原理分析（中）》一文我简单讲到了Pipeline，但并未完全展开，本文将从Pipeline开始讲 ...
分类：
其他好文 时间：
2018-03-30 20:02:19
阅读次数：
197
原文：https://www.zhihu.com/question/29163932/answer/138366614 Jenkins2 入门到精通 Jenkins2 下载与启动jenkins2 插件安装jenkins2 hellopipelinejenkins2 pipeline介绍jenkins ...
分类：
其他好文 时间：
2018-03-30 01:08:35
阅读次数：
312
如今Jenkins官网的Guide里使用了Docker，网上很多Jenkins入门教程都已过时了，所以写这一篇入门教程。 官网的Guide Link是：https://jenkins.io/doc/pipeline/tour/getting-started/ 我写的Jenkins入门是基于官网Gui ...
分类：
其他好文 时间：
2018-03-26 16:09:36
阅读次数：
194
比对 The raw Drop-seq data was processed with the standard pipeline (Drop-seq tools version 1.12 from McCarroll laboratory). Reads were aligned to the E ...
分类：
其他好文 时间：
2018-03-26 13:08:54
阅读次数：
237
当我们应用不同的预处理技巧时，比如对特征标准化、对数据主成分分析，我们都需要重复利用某些参数，比如对训练集标准化后还要对测试集进行标准化(二者必须使用相同的参数)。 本节，你会学到一个非常有用的工具：管道(pipeline)，这里的管道不是Linux中的管道，而是sklearn中的Pipeline... ...
分类：
编程语言 时间：
2018-03-12 13:36:18
阅读次数：
198
https://segmentfault.com/a/1190000010826809 什么是管道操作符(Aggregation Pipeline Operators) mongoDB有4类操作符用于文档的操作，例如find查询里面会用到的$gte，$in等。操作符以$开头，分为查询操作符，更新操作 ...
分类：
数据库 时间：
2018-03-08 15:53:34
阅读次数：
250
Redis基本命令，数据结构(List, Hash, Set, SortedSet), 事务，发布订阅，Pipeline, SCAN, HyperLogLog简介 ...
分类：
数据库 时间：
2018-03-04 16:09:08
阅读次数：
855
