服务器端通过校验请求头或者请求正文中特定的信息，用以区分正常用户和爬虫程序 1.User-Agent反爬虫 这是一种较为初级的判断方法，以下简称ua： User-Agent就是请求头域之一,服务器能够从 User-Agent对应的值中识别客户端使用的操作系统CPU类型、浏览器、浏览器引擎、操作系统语 ...
分类：
其他好文 时间：
2020-03-24 01:06:21
阅读次数：
78
一、概述 所谓断点续传，其实只是指下载，也就是要从文件已经下载的地方开始继续下载。在以前版本的HTTP协议是不支持断点的，HTTP/1.1开始就支持了。一般断点下载时才用到Range和Content-Range实体头。HTTP协议本身不支持断点上传，需要自己实现。 二、Range 用于请求头中，指定 ...
分类：
Web程序 时间：
2020-03-23 17:25:21
阅读次数：
97
前言 该文章主要分析编写爬虫小说的思路，文章代码使用语言Python3.7 2020-03-20 天象独行 第一部分：面对过程编程 1；首先我们确定目标，我们将要从网页：“https://www.biqukan.com/38_38836”下载小说“沧元图”。这里我们先设定URL以及请求头（后面会进行 ...
分类：
编程语言 时间：
2020-03-22 19:51:37
阅读次数：
78
ngx_http_upstream_check_module （http://tengine.taobao.org/document_cn/http_upstream_check_cn.html） 该模块可以为Tengine提供主动式后端服务器健康检查的功能。 该模块在Tengine-1.4.0版本 ...
分类：
其他好文 时间：
2020-03-21 09:32:56
阅读次数：
201
详情请移步：http://www.axios-js.com/zh-cn/docs/#%E6%8B%A6%E6%88%AA%E5%99%A8 ...
分类：
移动开发 时间：
2020-03-21 00:04:48
阅读次数：
210
有天上飞的概念，就要有落地的实现 概念十遍不如代码一遍，朋友，希望你把文中所有的代码案例都敲一遍 先赞后看，养成习惯 SpringBoot 图文教程系列文章目录 1. "SpringBoot图文教程1—SpringBoot+Mybatis 环境搭建" 2. "SpringBoot图文教程2—日志的使 ...
分类：
编程语言 时间：
2020-03-20 22:07:04
阅读次数：
97
nginx根据http_user_agent防DDOS 前端squid反向代理到nginx nginx根据http_user_agent防DDOS 首先查看访问日志，找出可疑访问 找到http_user_agent 的特征，然后再作过滤 "Mozilla/4.0 (compatible; MSIE ...
分类：
其他好文 时间：
2020-03-20 12:23:16
阅读次数：
68
最近在用node.js写自己的后台时遇见了跨域问题，之前处理跨域都是在前端配置代理解决的，这次打算在后台解决，中途也遇到了一些坑,比如我在请求头里加了一个自定义的参数token，结果后台配置的时候没有允许请求能够携带该参数，造成预检请求发出后，就没任何响应了。为此折腾了半天才发现问题。。。还是对它不 ...
分类：
Web程序 时间：
2020-03-19 15:14:40
阅读次数：
129
我们在写爬虫构建请求的时候，不可避免地要添加请求头( headers )，一般来说，我们只要添加 user-agent 就能满足绝大部分需求了 但这并不是绝对的，有些请求单单添加一个 user-agent 是不能获取到数据的，在不知道是缺少哪个请求头参数的情况下，我一般会先把所有参数全部添加上，然后 ...
分类：
编程语言 时间：
2020-03-19 12:04:04
阅读次数：
100
上传多个图片时 发现 把 存储图片的 fromData 放进数组中 传到后台时 后台接收不到文件 传入的值为 null 显示传入的类型不是 multipart/form-data 类型的 后台报的错误说这不是一个 multipart文件 尝试了在请求头 添加 "Content-Type": "mul ...
分类：
移动开发 时间：
2020-03-18 21:45:19
阅读次数：
74
