1.阿里云无外网ECS通过有公网IP代理上网 ...
分类：
其他好文 时间：
2016-09-14 14:03:59
阅读次数：
204
客户端的ip变量： $_SERVER['REMOTE_ADDR'] :客户端IP，也有可能是代理IP $_SERVER['HTTP_CLIENT_IP']:代理端的IP，可能存在，也可能伪造 $_SERVER['HTTP_X_FORWARD_FOR'] ：用户在哪个ip上使用的id，可能存在，也可能 ...
分类：
Web程序 时间：
2016-08-29 17:52:21
阅读次数：
235
今天博客开始继续更新，谢谢大家对我的关注和支持。这几天一直是在写一个ip代理池的开源项目。通过前几篇的博客，我们可以了解到突破反爬虫机制的一个重要举措就是代理ip。拥有庞大稳定的ip代理，在爬虫工作中将起到重要的作用,但是从成本的角度来说，一般稳定的ip池都很贵，因此我这个开源项目的意义就诞生了，爬 ...
分类：
编程语言 时间：
2016-07-21 21:42:16
阅读次数：
10062
客户端IP相关的变量 1.$_SERVER['REMOTE_ADDR'] 客户端IP，有可能是用户的IP，也可能是代理的IP。 2.$_SERVER['HTTP_CLIENT_IP'] 代理端的IP，可能存在可伪造。 3.$_SERVER['HTTP_X_FORWARDER_FOR'] 用户是在哪个 ...
分类：
Web程序 时间：
2016-06-29 20:38:09
阅读次数：
986
NAT（网络地址转换）：工作在网络层，对数据包进行地址转换后再转发。解决网络地址不够用，通过隐藏局域IP地址来保护网络安全。NAT路由器（需要装入NAT软件的路由器），至少有一个有效的外部全球IP地址，所有使用本地地址主机（局域网内192.168.0.0所有主机的IP地址都是本地IP..
分类：
其他好文 时间：
2016-05-14 17:08:25
阅读次数：
134
最近练习写爬虫，本来爬几张mm图做测试，可是爬到几十张的时候就会返回403错误，这是被网站服务器发现了，把我给屏蔽了。 因此需要使用代理IP。为了方便以后使用，我打算先写一个自动爬取ip代理的爬虫，正所谓，磨刀不误砍柴工，读完高中再打工！ 先看看运行结果: 函数返回一个列表 废话少说，放码出去: #
分类：
编程语言 时间：
2016-02-06 18:26:32
阅读次数：
308
第一个例子就设置了一个代理IP，也是不靠谱的，最好的方式就是多设置几个，如第二个例子，通过http://www.youdaili.net/Daili/你可以找到很多代理IP， 抓取国内网站时尽量选取中国的IP（虽然这种免费IP代理很多，不过免费的东西靠不靠谱就说不好了，实际上以我的经验，我会初始设置
分类：
其他好文 时间：
2016-01-29 20:01:37
阅读次数：
191
上一节，大概讲述了Python 爬虫的编写流程， 从这节开始主要解决如何突破在爬取的过程中限制。比如，IP、JS、验证码等。这节主要讲利用IP代理突破。 1.关于代理 简单的说，代理就是换个身份。网络中的身份之一就是IP。比如，我们身在墙内，想要访问google、u2b、fb等，直接访问是4...
分类：
编程语言 时间：
2016-01-25 13:02:43
阅读次数：
425
Nginx不记录指定文件类型的日志Nginx默认日志记录太详细，包括了很多图片等信息，如何设置不记录指定文件的类型的日志呢？一、设置Nginx日志类型日志格式类型：daixuan远程的IP，代理IP，时间，域名，访问地址，链接，状态码，referer，浏览器信息[root@daixuanconf]#cd/usr/lo..
分类：
其他好文 时间：
2016-01-13 00:52:54
阅读次数：
222
本文介绍如何安装医学图像处理软件fsl。安装环境：Win8和Ubuntu 14.04 LTS(双系统和虚拟机皆可)1. 安装ubuntu 14.04 LTS2. 打开终端，设置ip代理：export http_proxy=http://ip号:端口号(可百度ip代理获得)3. 打开链接：http:/...
分类：
其他好文 时间：
2016-01-06 15:30:38
阅读次数：
829
