使用代理服务器去爬虫的原因： 使用同一个IP去爬取同一个网站上的网页，久了之后会被该网站服务器屏蔽。这个时候我们就可以使用代理服务器。因为使用代理服务器去爬取某个网站的时候，在对方的网站上，显示的不是我们真实的IP地址，而是代理服务器的IP地址。 推荐两个获取免费代理服务器的网址： www.goub ...
分类：
其他好文 时间：
2019-03-24 12:27:27
阅读次数：
401
一、写在前面 有时候你的爬虫刚开始的时候可以正常运行，能够正常的爬取数据，但是过了一会，却出现了一个“403 Forbidden"，或者是”您的IP访问频率太高“这样的提示，这就意味着你的IP被ban了，好一点的情况是过一段时间你就能继续爬取了，坏一点的情况就是你的IP已经进入别人的黑名单了，然后你 ...
分类：
编程语言 时间：
2019-02-15 11:48:58
阅读次数：
205
一、代理池的维护 上面我们利用代理可以解决目标网站封IP的问题 在网上有大量公开的免费代理 或者我们也可以购买付费的代理IP但是无论是免费的还是付费的，都不能保证都是可用的 因为可能此IP被其他人使用来爬取同样的目标站点而被封禁或者代理服务器突然故障或者网络繁忙 一旦选用了一个不可用的代理，这势必会 ...
分类：
编程语言 时间：
2019-02-13 10:51:13
阅读次数：
176
反爬 / 封 IP 对于封 IP 的情况，可以分为几种情况来处理： 首先寻找手机站点、App 站点，如果存在此类站点，反爬会相对较弱。 使用代理，如抓取免费代理、购买付费代理、使用 Tor 代理、Socks 代理等。 在代理的基础上维护自己的代理池，防止代理浪费，保证实时可用。 搭建 ADSL 拨... ...
分类：
其他好文 时间：
2019-01-13 00:14:20
阅读次数：
250
一、一般适用情况1、两台都有外网IP，一台服务器请求资源通过另外一个服务器，本文重点讲第一种。2、两台服务器，其中一台服务器只有内网IP，另外一台服务器有公网和内网IP。 二、前提 客户端配置 三、下载 修改配置文件 找到http_access deny all并注释掉 最好修改一下默认的3128端 ...
分类：
Web程序 时间：
2018-12-29 19:40:12
阅读次数：
465
web开发（网络爬虫 -- 免费代理清洗 ********************************************************************************************************************************* ...
分类：
其他好文 时间：
2018-12-29 11:20:56
阅读次数：
449
想更换IP上网，怎能换IP？首先要确定是长期需要换IP还是偶尔换下，如果是偶尔换IP，可以尝试在网上找免费的代理IP更换，虽然可用率比较低，但是免费啊，就用换下IP，又何必花钱呢？如果是长期都需要换IP，那么建议使用黑洞代理，黑洞代理可以更换全国的IP，以此来代替自己的IP，这样既可以突破网络的限制，也可以隐藏自己的隐私，那么如何换IP呢？1.免费代理IP打开百度，输入“免费代理IP”，随便进一个
分类：
其他好文 时间：
2018-11-29 14:58:21
阅读次数：
198
1. 代理简介 很多网站都会检测某一段时间某个IP的访问次数，如果同一个IP访问过于频繁，那么该网站就会禁止来自该IP的访问，针对这种情况，可以使用代理服务器，每隔一段时间换一个马甲。“他强任他强，劳资会变翔”哈哈哈。 免费的开放代理获取无成本，我们可以收集这些免费代理，测试后如果可以用，用在爬虫上 ...
分类：
编程语言 时间：
2018-11-15 17:15:55
阅读次数：
6991
使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序可以通过访问相应的url来从代理池中获取代理。 源码 Github ...
分类：
编程语言 时间：
2018-10-22 16:41:27
阅读次数：
198
实现思路： 由于反扒机制，所以需要做代理切换，去爬取，内容通过BeautifulSoup去解析，最后入mysql库 1.在西刺免费代理网获取代理ip，并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求，带上代理 3.内容入库 注：日志模块在上一篇随笔 下面附上代码 1.可 ...
分类：
数据库 时间：
2018-10-19 13:57:30
阅读次数：
366
