使用IP代理 ProxyHandler()格式化IP，第一个参数，请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代理IP设置成全局,当使用urlopen()请求时自动使用代理IP ip代理池构建一 适合IP存活时间长，稳定性好的 ...
分类：
Web程序 时间：
2018-01-03 11:44:24
阅读次数：
538
前言 其实前面写的那一点点东西都是轻轻点水，其实HttpClient还有很多强大的功能： （1）实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等） （2）支持自动转向 （3）支持 HTTPS 协议 （4）支持代理服务器等 一、HttpClient使用代理IP 1.1、前言 在爬取 ...
分类：
Web程序 时间：
2017-12-14 19:16:18
阅读次数：
225
症状：网站短信被每分钟15条左右的频率被发送，所用的手机并不是数据库里的 分析：用阿里云服务器做跳板、ip代理软件和程序脚本执行。 调试方法： 1.联系短信方技术，查出短信最多的ip，是源于阿里云服务器 2.我把$_SERVER 信息，追加到发送短息的后面得到,找到了目标是通过user/getVer ...
分类：
Web程序 时间：
2017-12-05 11:59:29
阅读次数：
231
接口登录淘宝，困难度极高，没有人已经实现过。 淘宝登录selenium 手机版 pc版。 由于每天需要使用ip代理大批量的异地登录淘宝帐号，这种情况必然会出现淘宝滑动验证码，使用ActionChains， 使用手机版m.taobao.login登录，采用短信验证码交互方式登录，获取验证码按钮的点击需 ...
分类：
移动开发 时间：
2017-12-04 11:40:00
阅读次数：
309
一、代码示例requests
header?=?{
????:?}
proxy_ip?=?{
????:?}
html?=?requests.get(=header=proxy_ip)
html
html.text二、通过修改proxy_
分类：
编程语言 时间：
2017-12-02 14:11:04
阅读次数：
5334
from urllib.request import Request, ProxyHandler from urllib.request import build_opener from bs4 import BeautifulSoup import MySQLdb; import redis fr... ...
分类：
编程语言 时间：
2017-11-16 20:50:56
阅读次数：
142
参考：http://blog.csdn.net/sdfiiiiii/article/details/70432060 http://blog.csdn.net/qy20115549/article/details/54945974 第一篇博客可以获取http://www.xicidaili.com/ ...
分类：
Web程序 时间：
2017-11-12 17:27:12
阅读次数：
249
因为工作需要cnnvd漏洞信息，以前用着集客搜、八爪鱼之类的工具，但对其效果和速度都不满意。最近开始接触学习爬虫，作为初学者，还需要慢慢完善。先记录下第一个爬虫。还想着在多进程和IP代理方向改善学习。 这个是运行情况，速度还是无法忍受，多进程在数据获取应该能快很多，IP代理应该能忽视短时间多次访问被 ...
分类：
编程语言 时间：
2017-11-08 17:43:15
阅读次数：
813
0x01 前言 一般而言，抓取稍微正规一点的网站，都会有反爬虫的制约。反爬虫主要有以下几种方式： 0x02 概要 今天我们先主要来讲一讲，如何应对第2条的反反爬虫，如何通过多IP抓取。 通过多IP爬虫，又分为以下几种形式： 0x03 正文 1. ADSL拨号 我一般是在windows平台ADSL拨号 ...
分类：
其他好文 时间：
2017-11-07 14:34:21
阅读次数：
6340
#encoding=utf8import urllibimport urllib2import sys sys.path.append('D:/python/beautifulsoup')sys.path.append('C:/Python27/Lib/site-packages')from bs4 ...
分类：
编程语言 时间：
2017-11-04 13:24:55
阅读次数：
254
