回顾 5种反爬机制 robots.txt：反爬机制，防君子不防小人 UA检测：UA伪装 数据加密 图片懒加载 代理ip requests模块爬取流程： 指定url 发起请求 获取页面数据 数据解析 持久化存储 bs4解析： 环境安装：bs4、lxml解析器 实例化bs对象，将页面源码数据加载到该对象 ...
分类：
编程语言 时间：
2019-09-19 23:28:00
阅读次数：
178
tip: 大致思路：从网络（URL：http://ip.jiangxianli.com/api/proxy_ips）获取代理ip以及端口，存到列表；随机一个数从列表中取一个ip，设置超市时间以及次数；捕获异常，从列表中删除无用的ip代理并设置新的ip代理 settings.py中还要开启下载中间件 ...
分类：
其他好文 时间：
2019-09-18 09:17:58
阅读次数：
139
1. 动态代理 2. ip，url案例 给定的access.log是电信运营商的用户上网数据，第一个字段是时间， 第二个字段是ip地址，第三个字段是访问的网站，其他字段可以忽略不计。 第一个字段是网段的起始IP地址，第二个字段是网段的结束IP地址，第三个字段是网段的起始IP地址对应的十进制，第四个字 ...
分类：
编程语言 时间：
2019-09-08 11:20:57
阅读次数：
83
HTTPip在之前其实并不会被人们时常接触到，但是随着时代的发展，互联网的不断进步。越来越多的人开始意识到HTTPip的重要性，开始在人们的生活中占据越来越重要的地位，越来越多的人开始对代理ip有所了解。现在的信息资源发展十分迅速，各种各样的科技产品、技术也日益进步，的确，我们身边的各种环境正在不停 ...
分类：
其他好文 时间：
2019-08-31 11:10:19
阅读次数：
115
HTTPip在之前其实并不会被人们时常接触到，但是随着时代的发展，互联网的不断进步。越来越多的人开始意识到HTTPip的重要性，开始在人们的生活中占据越来越重要的地位，越来越多的人开始对代理ip有所了解。现在的信息资源发展十分迅速，各种各样的科技产品、技术也日益进步，的确，我们身边的各种环境正在不停地改变，但是在这些改变的背后，也潜藏着很多的危险，很多时候由于信息的过于发达和泛滥，很容易出现信息泄
分类：
其他好文 时间：
2019-08-31 11:09:30
阅读次数：
91
处理微信公众号时发现的错误，困扰了好几天，终于发现时DNS配置的问题 若无法使用可以使用ping命令查看是否网络原因无法访问地址 从网上查看的其他处理方式： 网站如果绑定了代理ip，内部跳转的时候，就会报The remote name could not be resolved错误，这个错误很难排查 ...
代理proxies 数据采集过程中使用脚本发送请求，请求次数过于频繁，服务器监测到而采用一定的手段禁止此ip的请求，为了解决封ip的问题，我们用代理来处理这个问题。用第三方代理ip进行伪装访问，即使被封也不影响当前ip的使用，构建代理池，封了一个，其他的还可以用，这样就能缓解ip被封无法继续爬取的问 ...
分类：
其他好文 时间：
2019-08-05 21:56:49
阅读次数：
178
在爬虫工作中,我们不可避免的会遇到网页的反爬封锁,所以就有了爬虫的***,在攻和守之间两股力量不断的抗衡。接下来就讲讲使用爬虫时ip限制问题的六种方法！ 方法1. 1、IP必须需要，如果有条件，建议一定要使用代理IP。 2、在有外网IP的机器上，部署爬虫代理服务器。 3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。 好处： 1、程序逻辑变化小，只需要代理功能。 2、根据对方网
分类：
其他好文 时间：
2019-08-05 00:08:34
阅读次数：
99
阿布云为我们提供了隧道代理IP的服务，通过阿布云HTTP隧道的动态版可以让我们的爬虫很好的使用动态代理IP 由此可知我们可以得到requests接入代码 1 # -*- coding:utf-8 -*- 2 import requests 3 4 # 要访问的目标网页 5 url = "http:/ ...
分类：
其他好文 时间：
2019-07-16 23:58:52
阅读次数：
1104
简介 我们可以从网上或者付费获取大量代理，但是这其中很多依然不可用，那么搭建高效的代理池，对代理ip进行筛选是十分必要的 准备工作： 安装Redis数据库，还需要安装aiohttp、requests、redis-py、pyquery、Flask库，安装流程请百度自行查询 由于文件内容较多，所以就不一 ...
分类：
编程语言 时间：
2019-07-11 20:45:02
阅读次数：
144
