在爬虫工作中,我们不可避免的会遇到网页的反爬封锁,所以就有了爬虫的***,在攻和守之间两股力量不断的抗衡。接下来就讲讲使用爬虫时ip限制问题的六种方法！ 方法1. 1、IP必须需要，如果有条件，建议一定要使用代理IP。 2、在有外网IP的机器上，部署爬虫代理服务器。 3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。 好处： 1、程序逻辑变化小，只需要代理功能。 2、根据对方网
分类：
其他好文 时间：
2019-08-05 00:08:34
阅读次数：
99
环境：一台带外网和内网的机器，另一台只有内网，默认不能上网。两台机器都是centos系统带外网机器的外网ip为 123.221.20.11， 内网ip为 192.168.15.100内网机器的内网ip为 192.168.15.101 环境：一台带外网和内网的机器，另一台只有内网，默认不能上网。两台机 ...
分类：
其他好文 时间：
2019-08-02 10:59:47
阅读次数：
105
我选择的是 宝塔Linux，现在就说一下如何往服务器里面传文件然后通过外网IP访问 1.打开宝塔Linux面板登录，安装tomcat，安装好后如图 2.点击tomcat有个文件标识处 3.出现如图 4.打开文件夹webapps/root，上传你想要的文件 tomcat默认根目录在/www/serve ...
分类：
Web程序 时间：
2019-07-31 15:21:45
阅读次数：
131
下面介绍Navicat连接腾讯云服务器上的数据库的两种方法： 方法一：【不需要修改相关远程客户端连接权限】 点击安装好的桌面navicat图标，进入后如下图： 连接方法：ssh中输入自己服务器的外网ip地址，登录服务器账号和密码 如下图： 再设置常规属性中，数据库的连接，主机填localhost，因 ...
分类：
数据库 时间：
2019-07-05 22:43:19
阅读次数：
317
一般做为NAT的计算机同时也是局域网的网关，假定该机有两块网卡eth0、eth1，eth0连接外网，IP为202.96.134.134；eth1连接局域网，IP为192.168.62.10 1. 先在内核里打开ip转发功能 #echo 1 > /proc/sys/net/ipv4/ip_forwar ...
分类：
其他好文 时间：
2019-07-04 09:54:00
阅读次数：
97
1.内网IP 注意：有的浏览器获取到的是IPv4地址，有的是IPv6地址 2.外网ip ...
分类：
其他好文 时间：
2019-06-26 10:50:39
阅读次数：
938
前面在讲解 firewall-config 工具的功能时，曾经提到了 SNAT（Source Network Address Translation，源网络地址转换）技术。SNAT 是一种为了解决 IP 地址匮乏而设计的技术，它可以使得多个内网中的用户通过同一个外网 IP 接入 Internet。该 ...
分类：
其他好文 时间：
2019-06-14 21:51:43
阅读次数：
166
参考： 支付宝支付，采用内网ip访问购买页面，但是支付宝的异步通知是需要外网才能访问的， 所以一般会做内网映射到外网，然后部署项目到外网服务器上。 但是会存在一个问题，就是从内网页面跳转到外网映射的域名地址对应的页面的时候，此时的页面session丢失了。。。。 现象：然后页面会被拦截，自动跳转到登 ...
分类：
其他好文 时间：
2019-06-06 12:25:48
阅读次数：
143
今天在阿里云的服务器上测试一个Flask程序，命名指定了 ip：0.0.0.0，port：5000，但是外网IP确怎么也访问不了网页 上网上好个查，发现阿里云的服务器端口开放需要去阿里云的“安全组配置”开放相应端口，才能正常使用； 这步操作大家可以直接百度“阿里云开放端口”就可以百度到具体操作 但是 ...
分类：
其他好文 时间：
2019-06-05 00:40:18
阅读次数：
266
如何优化Linux系统（可以不说太具体）？1、root，添加普通用户，通过sudo授权管理；2、更改默认的远程连接SSH服务端口及禁止root用户远程连接；3、自动更新服务器时间；4、配置国内yum源；5、关闭selinux及iptables（iptables工作场景如果有外网IP一定要打开，高并发除外）；6、调整文件描述符的数量；7、精简开机启动服务（crondrsyslognetworkssh
分类：
系统相关 时间：
2019-05-31 10:29:36
阅读次数：
193
