标签：网站 sele ppi 解析json数据 appium 直接 解析 爬取 代理
requests+bs4+lxml直接获取并解析html数据
抓包ajax请求，使用requests获取并解析json数据
反爬严重的网站，使用selenium爬取
设置代理
a.urllib/requests/selenium+chrome/selenium+phantomjs设置代理
b.爬取免费代理网站中的免费代理IP存入redis做代理池，并定期提取检测（访问目标网站），使用flask搭建网站，从redis返回随机代理IP（不适合商用）
c.多台ADSL拨号主机安装tinyproxy做代理，定时拨号获取自己的IP存入远程redis做代理池，使用flask搭建网站，从redis返回随机代理IP（爬取天眼查/IT桔子/搜狗微信）
d.收费代理IP（爬取天眼查/IT桔子/搜狗微信）
cookie池
爬取APP：
a.charles/fiddler/wireshark/mitmproxy/anyproxy抓包，appium自动化爬取APP
b.mitmdump对接python脚本直接处理，appium自动化爬取APP
pyspider框架爬取
scrapy/scrapy-redis/scrapyd框架分布式爬取
验证码：
a.极验验证：selenium呼出验证码图案、截图，PIL对比色差、算出位置，selenium匀加速+匀减速模拟人类拖动并验证
b.微博手机版：selenium呼出验证码图案、截图，制作图像模板，selenium呼出验证码图案、截图，使用PIL将截图与图像模板对比色差，匹配成功后按照模板名字中的数字顺序使用selenium进行拖动并验证
c.接入打码平台，selenium呼出验证码图案、截图，发送到打码平台，平台返回坐标，selenium移动到坐标并点击并验证
标签：网站 sele ppi 解析json数据 appium 直接 解析 爬取 代理
原文地址：http://blog.51cto.com/wenguonideshou/2137296
