前言 做后台的，Filter肯定没少配置，但是知晓其原理的可能不多。在这之前我也不懂，但这并不影响业务开发，同时也有其他的知识要学，所以一直就没看。这阵子有点闲，刚好在看《How Tomcat Works》的PipeLine相关内容。索性好好梳理一下FilterChain相关的知识。 类图 Filt ...
分类：
其他好文 时间：
2019-03-21 21:37:05
阅读次数：
239
安装依赖 基础运用 在item中定义一个类(scrapy.Item)来保存 类似于django yield返回两种东西,一种是在items中定义好的类 一种是新的请求 css选择器选取的标签 如果要保存到数据库 或者对数据进行一些处理 在pipeline中进行操作 处理可以返回两种值 如果要存入数据 ...
分类：
其他好文 时间：
2019-03-19 01:18:21
阅读次数：
175
## scrapy 依赖 twisted - twisted 是一个基于事件循环的 异步非阻塞 框架/模块 ## 项目的创建 ## pipeline 做持久化 - pipeline 是所有爬虫公用的，如果想要给某个爬虫制定需要使用 spider 参数进行判断处理： if spider.name == ...
分类：
编程语言 时间：
2019-03-17 01:25:41
阅读次数：
196
1.Scrapy框架介绍 主要介绍，spiders，engine，scheduler,downloader,Item pipeline scrapy常见命令如下： 对应在scrapy文件中有，自己增加爬虫文件，系统生成items,pipelines,setting的配置文件就这些。 items写需要 ...
分类：
编程语言 时间：
2019-03-14 00:48:22
阅读次数：
193
次方法实现数据的过滤处理等操作 开始运行爬虫是调用 结束爬虫时调用 If present, this classmethod is called to create a pipeline instance from a Crawler. It must return a new instance o ...
分类：
其他好文 时间：
2019-03-14 00:44:09
阅读次数：
208
一.爬取斗鱼主播 1. 爬虫文件 2.item 3.pipeline 4.settings # -*- coding: utf-8 -*- # Scrapy settings for Douyu project # # For simplicity, this file contains only ...
分类：
其他好文 时间：
2019-03-13 15:05:39
阅读次数：
145
开发环境，更多的是各自开发的本地，代码可以随意修改，方便开发自身测试用，但该环境由于可以直接修改，很多bug不容易被发现，只能是开发自测或写代码时候 自用。 测试环境，是相对稳定的环境。代码是可以提交 再pull。该环境完全模拟线上环境（发布后），代码在测试环境 由测试进行功能性 自动化测试。在确保 ...
分类：
其他好文 时间：
2019-03-10 09:23:58
阅读次数：
189
1、基础类型转换为高阶类型（monad），以便使用函数式编程的特性：map、reduce，pipeline、业务组织、异步编程等； 2、高阶类型转化为基础类型：以便使用基础类型的态射（计算）功能。 3、高阶类型的内部转换（泛型类型转换）--类型关乎复合--以便业务的组织。 高阶类型起到桥接的功能。 ...
分类：
其他好文 时间：
2019-03-07 19:33:51
阅读次数：
210
要使用scrapy库，必须先安装开发依赖，最好先使用pip安装，如果安装twisted提示缺少vc或者框架，可以下载至本地后安装。 建议先安装pyw32,twisted.lxml,这些安装完成后在安装scrapy (pip install scrapy) 有些时候需要先升级pip安装工具 用pych ...
分类：
其他好文 时间：
2019-03-07 16:22:10
阅读次数：
231
在MongoDB中，有两种方式计算聚合：Pipeline 和 MapReduce。Pipeline查询速度快于MapReduce，但是MapReduce的强大之处在于能够在多台Server上并行执行复杂的聚合逻辑。MongoDB不允许Pipeline的单个聚合操作占用过多的系统内存，如果一个聚合操作 ...
分类：
数据库 时间：
2019-03-05 19:54:20
阅读次数：
203
