标签：网站 动态 针对 open key 现实生活 res 需要 免费
proxy即为代理，我们爬虫的时候肯定会有频繁访问某一网站的情况，这个时候有些服务器会识别到我们是非正常访问，就会把我们的IP禁掉，这个时候就需要用代理了。
就好比现实生活中，我需要向A借一件东西，但是我跟A是仇人，直接向他借的话他不会借给我，这个时候我就让B帮我像A借，就说他要用，然后B借到东西之后再把东西给我用，这时，B就是我的代理了。
常用的免费代理网站:http://www.goubanjia.com/。
|
1
|
proxy = {‘http‘:‘52.187.162.198:3128‘} |
|
1
|
proxyHeader = request.ProxyHandler(proxy) |
|
1
|
opener = request.build_opener(proxyHeader) |
|
1
|
request.install_opener(opener) |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
from urllib import request# 设置代理地址proxy = {‘http‘:‘52.187.162.198:3128‘}# 创建ProxyHeaderproxyHeader = request.ProxyHandler(proxy)# 创建Openeropener = request.build_opener(proxyHeader)# 安装Openerrequest.install_opener(opener)# 然后剩下的就跟正常使用差不多，只不过此时的request已经是绑定了代理之后的requesturl = ‘https://www.taobao.com/‘req = request.Request(url)response = request.urlopen(req)print(response.read().decode()) |
标签：网站 动态 针对 open key 现实生活 res 需要 免费
原文地址：https://www.cnblogs.com/soundcode/p/9018988.html
