在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxies属性设置一个代理的IP地址,代码如下: 在上面的代码中,调用requests库,对一个IP地址查 ...
分类:
编程语言 时间:
2019-03-07 14:12:15
阅读次数:
435
正向代理和反向代理的概念 代理服务(Proxy),通常也称为正向代理服务。 如果把局域网外Internet想象成一个巨大的资源库,那么资源就分布到了Internet的各个点上,局域网内的客户端要访问这个库里的资源就必须统一通过代理服务器才能对各个站点进行访问。 局域网内的机器借助代理服务访问局域网外 ...
分类:
其他好文 时间:
2019-02-25 00:40:55
阅读次数:
264
原理:先用系统的录音器录音,让后让siri识别语音转文字 第一步 :在项目plist文件添加授权如图 第二步:导入头文件,添加协议#import <Speech/Speech.h>#import <AVFoundation/AVFoundation.h> 第三步:UI控件,实现siri识别方法,代码 ...
分类:
移动开发 时间:
2019-02-15 15:28:10
阅读次数:
219
一、简单说明 1.说明 在开发应用的时候,数据的安全性至关重要,而仅仅用POST请求提交用户的隐私数据,还是不能完全解决安全问题。 如:可以利用软件(比如Charles)设置代理服务器,拦截查看手机的请求数据 “青花瓷”软件 因此:提交用户的隐私数据时,一定不要明文提交,要加密处理后再提交 2.常见 ...
分类:
移动开发 时间:
2019-02-05 22:04:37
阅读次数:
205
一、第一种方式 1.简单说明 以前想要在view中画东西,需要自定义view,创建一个类与之关联,让这个类继承自UIView,然后重写它的DrawRect:方法,然后在该方法中画图。 绘制图形的步骤: (1)获取上下文 (2)绘制图形 (3)渲染图形 如果在layer上画东西,与上面的过程类似。 代 ...
分类:
移动开发 时间:
2019-02-05 20:56:32
阅读次数:
240
1、urllib模块 需要注意的是,urlopen()方法不支持代理,也不支持获取、存储cookie,所以要为我们的urllib设置代理或者进行cookie的操作的话需要先自定义opener()方法 这个时候在来添加我们的代理到urllib中 ...
分类:
Web程序 时间:
2019-01-25 19:58:08
阅读次数:
602
1.查看npm的config npm config ls 2.设置代理 npm config set proxy http://127.0.0.1:1080(SS) npm config set https-proxy https://127.0.0.1:1080(SS) 删除代理 npm conf ...
分类:
其他好文 时间:
2019-01-25 11:50:38
阅读次数:
194
1.urllib模块 设置代理的demo代码如下: 在上面的代码中,先借助request的ProxyHandler方法设置代理,参数是字典类型,键的名称是协议类型,值是代理。需要注意的是代理值的前面要加上协议(http或者https)。当请求时http时,调用http代理,是HTTPS时调用http ...
分类:
其他好文 时间:
2019-01-20 20:57:49
阅读次数:
186
nginx可以利用其反向代理的功能来进行负载均衡的实现,同时也可以使用其正向代理的功能设置代理服务器,比如在内网的环境中,在可以连接外网的机器上运行nginx作为代理服务器,其他机器通过设定此台机器的IP和port即可通过其连接上网,本文使用nginx官方镜像,通过如下步骤即可简单实现代理服务器。 ...
分类:
其他好文 时间:
2019-01-20 13:59:04
阅读次数:
220
用python也差不多一年多了,python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。 爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。 ? 1、基本抓取网页 get方法 post方法 2、使用代 ...
分类:
编程语言 时间:
2019-01-16 13:51:46
阅读次数:
236