第一步：requests get请求 post请求 第二步：伪装浏览器和伪造cookie 第三步：使用代理ip ...
分类：
其他好文 时间：
2018-05-15 19:41:26
阅读次数：
160
简单的自定义opener() ProxyHandler处理器（代理设置） 使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。 很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。 所以我们可以设置一些代理服务器，每隔一 ...
分类：
其他好文 时间：
2018-05-04 01:38:48
阅读次数：
21014
在模拟器中设置代理，长按WiredSSID会弹出菜单： 点击修改网络： 显示高级选项打勾，然后设置代理ip，也就是你运行burp的机器ip： 然后导出burp的证书： 设置保存的路径和文件名： 模拟器左边栏点击设置共享： 模拟器内会自动打开这个目录： 然后单击这个证书文件，设置证书名字： 会提示已安 ...
分类：
Web程序 时间：
2018-04-22 10:51:18
阅读次数：
4242
1. 连接wifi Dev =》 手动代理 =》 ip + 端口号 5389 2. 浏览器中打开本地代码连接 http://m.ctrip.fat67.qa.nt.ctripcorp.com/webapp/vacations/tour/test_list 使用fiddle的5389端口号代理 fat ...
分类：
移动开发 时间：
2018-04-19 17:43:12
阅读次数：
349
4月16日任务11.22访问日志不记录静态文件11.23访问日志切割11.24静态元素过期时间扩展apache日志记录代理IP以及真实客户端IPhttp://ask.apelearn.com/question/960apache只记录指定URI的日志http://ask.apelearn.com/question/981apache日志记录客户端请求的域名http://ask.apelearn.c
分类：
其他好文 时间：
2018-04-17 11:48:47
阅读次数：
175
1、要求：python基础，python web框架的了解，web.py\flask\django等，爬虫框架scrapy的基础，html解析技术bs\xpath等 2、设计爬虫策略 3、反爬虫处理，模拟浏览器，使用代理ip等 4、分布式爬虫 scrapy-redis，利用redis对url去重，存 ...
分类：
编程语言 时间：
2018-04-09 21:48:09
阅读次数：
196
11.22访问日志不记录静态文件11.23访问日志切割11.24静态元素过期时间扩展apache日志记录代理IP以及真实客户端IPhttp://ask.apelearn.com/question/960默认情况下log日志格式为：LogFormat"%h%l%u%t\"%r\"%>s%b\"%{Referer}i\"\"%{User
分类：
其他好文 时间：
2018-03-06 10:16:41
阅读次数：
193
访问日志不记录静态文件按F12默认定位在network重新刷新网页每一行都是元素修改虚拟主机配置文件SetEnvif环境ENV=!img验证上传图片之后访问有图片显示日志里面却没有记录PNG配置静态元素的过期时间修改虚拟主机配置文件编辑主配置文件打开expires模块查看模块是否开启验证去掉模块再次验证没有过期时间apache日志中记录代理IP以及真实客户端IP默认情况下log日志格式为：LogF
分类：
Web程序 时间：
2018-03-05 23:33:16
阅读次数：
246
扩展： apache日志记录代理IP以及真实客户端IP ：http://ask.apelearn.com/question/960apache只记录指定URI的日志 ： http://ask.apelearn.com/question/981apache日志记录客户端请求的域名 ： http://ask.apelearn.co
分类：
其他好文 时间：
2018-03-05 17:00:37
阅读次数：
234
亿牛云爬虫代理IP隧道动态加强版 1 产品特点 自营线路稳定可靠带宽高，海量IP资源池 基于Linux自建平台，系统稳定可靠，自动处理代理线路故障 智能代理实时检测器，区别于传统扫描式检测，能做到毫秒级检测，确保用户获取的代理100%网络可用。 代理IP隧道技术，通过固定云代理服务地址，自动实现IP ...
分类：
其他好文 时间：
2018-02-26 17:47:27
阅读次数：
1746
