requests抓取数据报错 - HttpConnectinPool: - 原因: - 1.短时间内发起了高频的请求导致ip被禁 - 2.http连接池中的连接资源被耗尽 - 解决: - 1.代理 - 2.headers中加入Conection:“close” 代理服务器 - 代理:代理服务器,可以 ...
分类:
其他好文 时间:
2020-05-05 23:18:30
阅读次数:
84
反向代理与负载均衡 什么是反向代理 在介绍反向代理之前,先看一下什么是正向代理 一、正向代理介绍 正向代理(forward proxy) :是一个位于客户端和目标服务器之间的服务器(代理服务器),为了从目标服务器取得内容,客户端向代理服务器发送一个请求并指定目标,然后代理服务器向目标服务器转交请求并 ...
分类:
其他好文 时间:
2020-05-05 17:41:48
阅读次数:
54
[toc] 什么是Nginx Nginx是一个轻量级/高性能的反向代理服务器,它实现非常高效的反向代理、负载均衡。它可以处理2 3万并发连接数,官方监测能支持5万并发,现在国内使用网站用户有很多,例如:新浪、网易、腾讯等。 为什么要用Nginx 跨平台、配置简单、方向代理、高并发:处理2 3万并发连 ...
分类:
其他好文 时间:
2020-05-04 17:49:25
阅读次数:
76
准备工作 首先,申请一个属于自己的微信公众号(必须保证全局管理员是自己的微信账户,否则会很麻烦),还要拥有自己的服务器(Ubuntu 系统)来部署代码,且服务器已经成功安装了网络相关的两个常用软件 uwsgi 和 nginx ,前者一般用于进程控制,后者用于反向代理。 服务器端部署流程 第一步,在 ...
分类:
微信 时间:
2020-05-01 23:51:06
阅读次数:
124
TrafficServer 是Apache基金会的 HTTP/HTTP2 代理服务器。 TrafficServer 的 HTTP2 部分主要的代码在 : 1. trafficserver/proxy/http2/HTTP2.h, HTTP2.cc 1. trafficserver/proxy/htt ...
分类:
Web程序 时间:
2020-04-30 19:29:23
阅读次数:
83
关键词:lighttpd 指定端口 代理 接到一个超级坑的需求,访问lighttpd特定端口时转换到其他服务器(uhttpd),lighttpd的80端口正常使用。 网上都是针对特定域名做跳转,经过多次试验,发现特定端口使用代理也很简单。 启用lighttpd的反向代理模块: 编辑lighttpd/ ...
分类:
Web程序 时间:
2020-04-30 15:31:07
阅读次数:
83
一、在项目跟目录下新增配置配置文件(如果存在则不需要新建): 1、文件 .env ,该文件配置的内容不论什么环境打包都会生效 * 公共配置信息,根据自己需求添加 2、文件 .env.dev ,开发环境配置文件,内容: NODE_ENV=development VUE_APP_URL=127.0.0. ...
分类:
其他好文 时间:
2020-04-29 14:54:25
阅读次数:
196
通过代理转发后,webapi的swagger无法访问,本质原因是代理后url路径发生变化导致/swagger无法定位到json。 相关issue: issue评论中,一般推荐通过PreSerializeFilters设置BasePath的方案,但在5.x版本中BasePath被删除了。最终选择使用设 ...
分类:
Web程序 时间:
2020-04-29 12:47:09
阅读次数:
131
简述:使用代理服务器发送请求,隐藏自己的真是ip... request = Request(url, headers=headers) 1. 使用urllib.request下的ProxyHandler模块,来加载代理ip,生成对象 2. 使用urllib.request下的build_opener ...
分类:
其他好文 时间:
2020-04-28 15:07:27
阅读次数:
102
正向代理和反向代理的区别 虽然正向代理服务器和反向代理服务器所处的位置都是客户端和真实服务器之间,所做的事情也都是把客户端的请求转发给服务器,再把服务器的响应转发给客户端,但是二者之间还是有一定的差异的。 1、正向代理其实是客户端的代理,帮助客户端访问其无法访问的服务器资源。反向代理则是服务器的代理 ...
分类:
其他好文 时间:
2020-04-28 09:58:36
阅读次数:
56