1 Scrapy 爬虫模拟登陆策略 前面学习了爬虫的很多知识，都是分析 HTML、json 数据，有很多的网站为了反爬虫，除了需要高可用代理 IP 地址池外，还需要登录，登录的时候不仅仅需要输入账户名和密码，而且有可能验证码，下面就介绍 Scrapy 爬虫模拟登陆的几种策略。 1.1 策略一：直接P ...
分类：
其他好文 时间：
2018-09-11 17:07:55
阅读次数：
253
实用爬虫 02 爬虫真正使用代理 ip 因为这里呢，是实用爬虫，想要仔细学习一些基础的，可以去查看： Python 爬虫教程：https://www.cnblogs.com/xpwi/category/1295282.html 获取代理 ip 的网站： www.goubanjia.com www.x ...
分类：
其他好文 时间：
2018-09-09 00:34:57
阅读次数：
253
爬虫，可用于增加访问量和抓取网站全页内容 爬虫道德规范： 1.不让爬的咱不爬 2.让爬的咱不能一直爬 使用爬虫提高文章访客说明： 1.本爬虫使用代理IP 2.伪装浏览器 3.粘贴地址即可使用 4.原文件 github 地址：https://github.com/xpwi/py/blob/master ...
分类：
Web程序 时间：
2018-09-08 17:17:48
阅读次数：
740
ip代理池： 1，在各大网站爬去免费代理ip 2，检查ip可用 可用存入数据库1 3，在数据库1中拿出少量代理ip存入数据库2（方便维护） 3，定时检查数据库1和数据库2的代理数量，以及是否可用 4，调用端口 ...
分类：
编程语言 时间：
2018-09-07 20:15:23
阅读次数：
185
以下是自己总结的设置 IP 代理的几种方法，仅供参考 方法一： requests发送请求添加代理 proxies = {'http':'代理 IP:端口号'} 实例： 方法二： 调用 ProxyHandler 添加 代理 实例： 方法三： 使用 client 建立连接，添加代理 IP，port 实例 ...
分类：
其他好文 时间：
2018-09-07 13:57:29
阅读次数：
166
直接上代码： 上面的IP：117.177.243.6和117.177.243.7是我在网上临时找的两个国内代理IP，你也可以自己找。 这个地址：http://2018.ip138.com/ic.asp是国内的一个获取客户端IP的接口，通过访问这个接口就可以看到效果了。 ...
分类：
编程语言 时间：
2018-08-22 16:50:20
阅读次数：
123
在进行网络爬虫时，会经常有封ip的现象。可以使用代理池来进行代理ip的处理。 代理池的要求：多站抓取，异步检测。定时筛选，持续更新。提供接口，易于提取。 代理池架构：获取器，过滤器，代理队列，定时检测。 使用https://github.com/Germey/ProxyPool/tree/maste ...
分类：
其他好文 时间：
2018-08-17 20:56:33
阅读次数：
308
``` """ this is a module,多行注释 """ import re from urllib import request # BeautifulSoup:解析数据结构 推荐库 Scrapy:爬虫框架 #爬虫，反爬虫，反反爬虫 #ip 封 #代理ip库 class Spider()... ...
分类：
编程语言 时间：
2018-08-08 22:55:18
阅读次数：
384
第一种IP地址代理方式from urllib import requestif __name__ == "__main__": # 访问网址 url = 'http://www.ahaoboy.cn:888/' # 这是代理IP proxy = { # 'http': '106.46.136.112 ...
分类：
编程语言 时间：
2018-08-03 14:46:40
阅读次数：
126
ProxyHandler处理器（代理设置） 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁 ...
分类：
编程语言 时间：
2018-07-14 14:52:23
阅读次数：
273
