转载自：http://www.python_tab.com/html/2014/pythonweb_0326/724.html 在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理） 下面来说一下Scrapy如何配置代理，进行抓取 1.在Scr ...
分类：
编程语言 时间：
2016-08-22 12:36:06
阅读次数：
127
Linux与云计算——第二阶段Linux服务器架设第一十一章：代理Proxy服务器架设—Squid代理服务器正向代理和客户端配置安装Squid安装Squid来配置代理服务器。[1]这是一个通用的转发代理配置[root@server~]#yum-yinstallsquid[root@server~]#vi/etc/squid/squid.conf#line26:添加一..
分类：
系统相关 时间：
2016-08-11 23:01:37
阅读次数：
277
基本的代理配置就不说了现在贴出配置并强调几点容易出错的问题。usernginx;worker_processes1;error_log/var/log/nginx/error.log;pid/var/run/nginx.pid;events{worker_connections1024;}http{include/etc/nginx/mime.types;default_typeapplication/octet-stream;log_formatm..
分类：
Web程序 时间：
2016-07-13 12:07:09
阅读次数：
193
目录目录
前文列表
安装组件
配置通用组件
配置自服务网络选项
配置Linux 桥接代理
配置Nova使用网络
完成安装
验证操作Execute following commands on Controller Node前文列表Openstack组件部署 — Overview和前期环境准备
Openstack组建部署 — Environment of Controller Node
Open...
分类：
Web程序 时间：
2016-07-09 20:56:38
阅读次数：
259
目录目录
前文列表
前提条件
完成下面的步骤以创建数据库
创建service credentials服务凭证
创建Neutron的API Endpoints
配置自服务网络
安装网络组件
配置服务组件
配置 Modular Layer 2 ML2 插件
配置Linux 桥接代理
配置layer-3代理
配置DHCP代理
配置元数据代理
配置计算使用网络
完成安装前文列表Openstack组件部署 —...
分类：
Web程序 时间：
2016-07-09 16:35:53
阅读次数：
317
nginx反向代理socket配置 1，安装 git clone https://github.com/yaoweibin/nginx_tcp_proxy_module cd nginx-1.8.1 patch -p1 < /root/to/nginx_tcp_proxy_module/tcp.pa ...
分类：
其他好文 时间：
2016-07-04 18:32:54
阅读次数：
232
Nginx反向代理配置实验环境：相关服务都调试包报错（Iptables，selinux，ntpdate，network,hostname,hosts、date）都调试好正向代理服务器：172.16.0.63centos6.5客户端测试：172.16.0.173centos6.5一.配置服务端：[root@xuegod63~]#vim/usr/local/nginx/conf/nginx.confworker..
分类：
其他好文 时间：
2016-07-01 16:32:05
阅读次数：
192
记录一下方便以后自己查看1.环境准备lb-01：192.168.33.135nginx-lbcentos7
rs-01：192.168.33.131apache-webcentos6.x
rs-02：192.168.33.132nginx-webcentos6.x2.环境安装lb-01安装nginx,配置nginx源#cat/etc/yum.repos.d/nginx.repo
[nginx]
name=nginxrepo
baseurl=http://..
分类：
其他好文 时间：
2016-06-30 23:34:06
阅读次数：
1055
首先，要介绍一下，什么是透明代理？透明代理的意思是客户端根本不需要知道有代理服务器的存在，它改变你的requestfields（报文），并会传送真实IP，多用于路由器的NAT转发中。透明代理的原理是这样的：1.假设A为内部网络客户机2.B为外部网络服务器，B提供的服务为httpd服务，..
分类：
其他好文 时间：
2016-06-30 14:43:09
阅读次数：
170
转自:http://www.cnblogs.com/airsong23/p/3893094.html 适应情况： 有时，我们的机器HOST-A只能通过代理服务器HOST-B才可以访问internet, 而与我们相连的机器HOST-C也需要访问internet, 但是HOST-C却不能直接访问HOST ...
分类：
其他好文 时间：
2016-06-29 18:33:17
阅读次数：
246
