scrapy redis使用以及剖析 scrapy redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler 调度器 dupefilter URL去重规则（被调度器使用） pipeline 数据持久化 sc ...
分类：
其他好文 时间：
2018-10-21 21:59:22
阅读次数：
207
"""爬取豆瓣网站的信息""" import requests from lxml import etree # 请求头设置 headers = { "User-Agentv": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT ...
分类：
编程语言 时间：
2018-10-21 19:36:47
阅读次数：
241
def extract_cookies(cookie): """从浏览器或者request headers中拿到cookie字符串，提取为字典格式的cookies""" cookies = dict([l.split("=", 1) for l in cookie.split("; ")]) ret ...
分类：
编程语言 时间：
2018-10-21 10:53:38
阅读次数：
188
在本地安装Kubernetes时，遇到错误消息： request canceled while waiting for connection(Client.Timeout exceeded while awaiting headers) 这个原因是Docker应用没有正确设置代理。在Mac上设置代理 ...
分类：
其他好文 时间：
2018-10-20 13:39:00
阅读次数：
137
一. 创建项目 选择 Spring Initiallizr 添加最基本的几个依赖 Web，MySQL，MyBatis，其他需求可以后续再添加 ; 数据库选择了 MySQL 二. 配置数据源 数据源中存储了所有建立数据库连接的信息 1. 配置 IDEA 数据源 输入地址，端口，用户名，密码等等完成设置 ...
分类：
编程语言 时间：
2018-10-19 17:40:10
阅读次数：
236
前端采用了axios来处理网络请求，为了避免在每次请求时都去判断各种各样的网络情况，比如连接超时、服务器内部错误、权限不足等等不一而足，我对axios进行了简单的封装，这里主要使用了axios中的拦截器功能。 封装后的网络请求工具js如下 前端精品教程：百度网盘下载 ? 1 2 3 4 5 6 7 ...
分类：
移动开发 时间：
2018-10-19 00:05:36
阅读次数：
661
贴代码 public function _initialize(){ header("Access-Control-Allow-Origin: *"); header('Access-Control-Allow-Headers:x-requested-with,content-type,token, ...
分类：
Web程序 时间：
2018-10-17 15:44:41
阅读次数：
209
错误信息： 1， 2， Provisional headers are shownAccess-Control-Request-Headers: tokenAccess-Control-Request-Method: POSTOrigin: http://127.0.0.1:8080User-Age ...
分类：
数据库 时间：
2018-10-15 20:32:37
阅读次数：
2014
@RequestMapping 这个注解可以用于类和方法上，用于类上，表示父路径，如类上是demo，方法上是/demo1，那么访问路径就是demo/demo1 该注解有六个属性：params:指定request中必须包含某些参数值是，才让该方法处理。headers:指定request中必须包含某些指 ...
分类：
编程语言 时间：
2018-10-14 16:39:37
阅读次数：
153
3.6 Flask中的特殊变量和方法： 在Flask中，有一些特殊的变量和方法是可以在模板文件中直接访问的。 config 对象: request 对象: 就是 Flask 中表示当前请求的 request 对象，request对象中保存了一次HTTP请求的一切信息。 request常用的属性如下： ...
分类：
其他好文 时间：
2018-10-14 11:32:14
阅读次数：
274
