日志设置 CRITICAL ： 严重错误 ERROR ： 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG ： 调试信息 默认的显示级别是DEBUG # 设置错误显示级别 LOG_LEVEL = 'DEBUG' # 将日志信息写到文件中，不要显示到屏幕中 LOG_FILE = ...
分类：
其他好文 时间：
2021-02-01 12:18:26
阅读次数：
0
1 import scrapy 2 import re 3 from fake_useragent import UserAgent 4 5 6 class DoubanSpider(scrapy.Spider): 7 name = "douban" 8 start_urls = ['https:/ ...
分类：
Web程序 时间：
2021-01-28 11:53:08
阅读次数：
0
scrapy框架学习 初识 一、概述 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 二、安装 安装：pip install scrapy 因为安装scrapy需要相 ...
分类：
其他好文 时间：
2021-01-26 12:21:50
阅读次数：
0
Redis除了提供5种基本数据结构外，还提供了一些附加功能： 慢查询分析 Redis Shell Pipeline 事务与Lua Bitmaps HyperLogLog 发布订阅 GEO 慢查询分析 Redis客户端执行一条命令分为4个部分： 发送命令 命令排队 命令执行 返回结果 慢查询只统计步骤 ...
分类：
其他好文 时间：
2021-01-19 11:41:30
阅读次数：
0
movie.py import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom zlsPro.items import ZlsproItemfr ...
分类：
编程语言 时间：
2021-01-18 10:40:45
阅读次数：
0
Pip修改源方法： 临时使用： 可以在使用pip的时候在后面加上-i参数，指定pip源 eg: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 永久修改： Linux: 修改 /root/.pip/pip.conf (没有 ...
分类：
其他好文 时间：
2021-01-15 11:42:48
阅读次数：
0
middlewares.py class MiddlewareDownloaderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to create your spide ...
分类：
编程语言 时间：
2021-01-14 11:23:09
阅读次数：
0
爬取电影网站 movie.py import scrapyfrom MyProjectDianying.items import MyprojectdianyingItemclass MovieSpider(scrapy.Spider): name = 'movie' # allowed_domai ...
分类：
编程语言 时间：
2021-01-14 11:19:48
阅读次数：
0
p6 乘除模块的start 一、 乘除模块 （一）mdu要求 执行乘法的时间为5个cycle，包含写入内部的HI和LO 执行除法的时间为10个cycle，包含写入内部的HI和LO 通过有效一个cycle的start信号启动乘除法运算 通过busy输出标志反映延迟 （二）相关指令 mult、multu ...
分类：
其他好文 时间：
2021-01-12 10:38:18
阅读次数：
0
背景 近期在处理fMRI数据，在此记录一些常用数据处理软件、工具及说明文件，便于随时查找。 1、Rest plus 包括数据处理的pipeline，以及各种绘图功能。安装方法：直接下载安装包并解压到当前文件夹，移动至MATLAB的toolbox文件夹，并设置路径，在命令行输入“restplus”即可 ...
分类：
其他好文 时间：
2021-01-11 11:18:33
阅读次数：
0
