一、简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它集成高性能异步下载，队列，分布式，解析，持久化等。 Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异步）的代码来实现并发。 ...
分类：
其他好文 时间：
2019-09-06 20:06:13
阅读次数：
114
Scrapy 框架的介绍 Scrapy 是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰模块之间的耦合成都低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。 1. 架构介绍 它可以分为如下几个部分。 Engine 引擎，处理整 ...
分类：
其他好文 时间：
2019-09-06 01:31:30
阅读次数：
75
Dubbo的Filter在使用的过程中是我们扩展最频繁的内容，而且Dubbo的很多特性实现也都离不开Filter的工作，今天一起来看一下Filter的具体实现。 Filter（过滤器）在很多框架中都有使用过这个概念，基本上的作用都是类似的，在请求处理前或者处理后做一些通用的逻辑，而且Filter可以 ...
分类：
其他好文 时间：
2019-09-03 16:33:52
阅读次数：
81
专题20-SPI驱动程序设计 第1课-SPI总线介绍 SPI(Serial Peripheral Interface)串行外设接口,是一种高速的,全双工,同步的通信总线。采用主从模式（Master Slave）架构,支持多个slave，一般仅支持单Master。 SPI接口共有4根信号线，分别是：设 ...
分类：
其他好文 时间：
2019-09-03 13:16:22
阅读次数：
98
在spider中 主动关闭爬虫: self.crawler.engine.close_spider(self, “cookie失效关闭爬虫”) 在pipeline 和downloadermiddlewares 主动关闭爬虫： spider.crawler.engine.close_spider(sp ...
分类：
其他好文 时间：
2019-09-02 17:12:21
阅读次数：
236
单总线： 单总线是美国DALLAS公司推出的外围串行扩展总线技术。与SPI、I²C串行数据通信方式不同．它采用单根信号线，既传输时钟又传输数据，而且数据传输是双向的，具有节省I/O口线、资源结构简单、成本低廉、便于总线扩展和维护等诸多优点。 原理 原理 单总线器件内部设置有寄生供电电路(Parasi ...
分类：
其他好文 时间：
2019-09-02 11:35:04
阅读次数：
125
JDK SPI是什么 最近工作中听几个同事说了好几次SPI这个名词，虽然和我没关系，但是心里默默想还是学习一下，不然下次和我说到SPI，连是什么都不知道那就尴尬了。 所以SPI是什么呢？SPI全称Service Provider Interface，在Java中还是一个比较重要的概念，是Java提供 ...
分类：
其他好文 时间：
2019-09-01 13:06:54
阅读次数：
118
在指定信号上注册操作 from scrapy import signals class MyExtend: def __init__(self,crawler): self.crawler = crawler # 钩子上挂障碍物 # 在指定信号上注册操作 crawler.signals.connec ...
分类：
其他好文 时间：
2019-08-31 13:24:15
阅读次数：
92
前言： 由于之前对STM32Fxx系列相对熟悉，所以涉及到超低功耗设备时，自然就选用STM32家族的STM32Lxx系列产品。 STM32L151C8T6 功能特点： （1）Flash：64k （2）RAM：10k （3）EEPROM：4k （4）USART：3 （5）SPI：2。 了解一个CPU， ...
分类：
其他好文 时间：
2019-08-31 11:02:46
阅读次数：
113
