1爬虫介绍 # 1 本质:模拟发送http请求(requests) 》解析返回数据(re,bs4,lxml,json) 》入库(redis,mysql,mongodb) # 2 app爬虫:本质一模一样 # 3 为什么python做爬虫最好:包多,爬虫框架:scrapy:性能很高的爬虫框架,爬虫界的 ...
分类:
Web程序 时间:
2020-04-10 00:48:11
阅读次数:
114
在ubuntu下安装Nginx: sudo apt install nginx nginx的配置文件有两个: /etc/nginx/nginx.conf /etc/nginx/sites-enabled/default 在server块中增加配置,设置反向代理: server{ listen 900 ...
分类:
其他好文 时间:
2020-04-08 11:33:10
阅读次数:
66
一、lvs干什么的 做负载均衡用的,通过工作于内核的ipvs模块来实现功能,工作在netfilter的input链上,同款的有nginx和haproxy二、都有哪些内容 命令ipvsadm常见的参数 三中转发模式https://www.linuxba.com/archives/7686 NAT:过负载均衡器LB
分类:
其他好文 时间:
2020-04-08 09:42:32
阅读次数:
60
https://www.cnblogs.com/Anker/p/6056540.html 正向代理与反向代理 """ 正向代理是对客户端的代理,由客户端设立,客户端了解代理服务器和目标服务器,但是目标服务器不了解真正的客户端是谁;使用正向代理可以达到突破访问限制,提高访问速度,对服务器隐藏客户端ip ...
分类:
其他好文 时间:
2020-04-08 09:18:05
阅读次数:
99
[TOC] 什么是代理? 代理其实就是一个中介,A 和 B 本来可以直连,中间插入一个 C,C 就是中介。 刚开始的时候,代理多数是帮助内网 client 访问外网 server 用的 后来出现了反向代理,"反向"这个词在这儿的意思其实是指方向相反,即代理将来自外网客户端的请求转发到内网服务器,从外 ...
分类:
其他好文 时间:
2020-04-07 20:28:03
阅读次数:
59
nginx作为高效的http服务器和反向代理服务器,值得我们深入了解。 我们带着几个问题,深入了解下nginx的工作原理。首先是开篇:nginx是如何启动的? nginx是用c写的软件,github地址: https://github.com/nginx/nginx 其目录结构如下,我们主要关注 s ...
分类:
其他好文 时间:
2020-04-06 17:48:12
阅读次数:
81
教你搭建Nginx+Tomcat集群,从而实现负载均衡及动静分离
分类:
其他好文 时间:
2020-04-06 10:05:35
阅读次数:
99
热点随笔: · 你所不知道的 C# 中的细节 (hez2010)· 2020年了,跨平台开发框架现在怎样了? (葡萄城技术团队)· 坚持写作快两年了,有些私藏工具跟你们分享 (楼下小黑哥)· 从入门到精通-Nginx,图文并茂、负载均衡、动静分离、虚拟主机 附案例源码 (陈彦斌)· 高效code r ...
分类:
其他好文 时间:
2020-04-06 09:38:31
阅读次数:
74
1 linux iptables ubuntu centos redhat alpine 2 开源产品 jenkins git nginx openstack kubenetes mysql cobbler docker kvm lvs haproxy zabbix promethues ansib ...
分类:
其他好文 时间:
2020-04-06 00:14:17
阅读次数:
80
squid缓存服务器————反向代理如果Squid反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端,否则反向代理服务器将向后台的WEB服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用1、首先给网页做区分[root@webhttpd]#cd/var/www/html/[root@webhtml]#ls[root@webhtml]#vimi
分类:
其他好文 时间:
2020-04-06 00:12:33
阅读次数:
69