1、urllib模块 需要注意的是，urlopen()方法不支持代理，也不支持获取、存储cookie，所以要为我们的urllib设置代理或者进行cookie的操作的话需要先自定义opener()方法 这个时候在来添加我们的代理到urllib中 ...
分类：
Web程序 时间：
2019-01-25 19:58:08
阅读次数：
602
1.urllib模块 设置代理的demo代码如下： 在上面的代码中，先借助request的ProxyHandler方法设置代理，参数是字典类型，键的名称是协议类型，值是代理。需要注意的是代理值的前面要加上协议（http或者https）。当请求时http时，调用http代理，是HTTPS时调用http ...
分类：
其他好文 时间：
2019-01-20 20:57:49
阅读次数：
186
今天突发奇想小试爬虫,获取一下某素材站一些图片 实现步骤如下: 结果: 期间遇到一点小坑, 此网站非常的鸡贼, 在网页点检查看到的前端代码并不是真正请求获得的, 而是请求发过去后前端对一些细节做了处理, 所以写正则匹配那一部分的时候不能参照网页检查现实的html 解决办法就是先发请求获得真正请求得到 ...
分类：
编程语言 时间：
2019-01-07 22:33:25
阅读次数：
199
1，请求：requests requests.get(url, headers) requests.post(url, data=data, files=files) urllib模块: Python2 import urllib2 response = urllib2.urlopen('http: ...
分类：
编程语言 时间：
2018-12-28 12:03:29
阅读次数：
177
1、使用urllib模块(使用不方便，建议使用第二种) get请求： res = urlopen(url) post请求： 注意：带参数的时候是一个post请求，若http://127.0.0.1:8999/api/login接口的方法限定了methods为get，则会报错urllib.error. ...
分类：
编程语言 时间：
2018-12-27 18:49:31
阅读次数：
329
1、使用urllib模块 get请求： res = urlopen(url) post请求： 注意：带参数的时候是一个post请求，若http://127.0.0.1:8999/api/login接口的方法限定了methods为get，则会报错urllib.error.HTTPError: HTTP ...
分类：
编程语言 时间：
2018-12-26 12:56:02
阅读次数：
216
一、requests 之前使用python自带的urllib模块去请求一个网站或者接口，但是urllib模块太麻烦了，传参数的话，都得是bytes类型，返回数据也是bytes类型，还得解码，想把返回结果拿出来使用的话，还得用json，发get请求和post请求，也不通，使用比较麻烦，还有一个比较方便 ...
分类：
编程语言 时间：
2018-12-24 16:22:50
阅读次数：
232
一、python操作网络也就是打开一个网站，或者请求一个http接口，使用urllib模块。urllib模块是一个标准模块，直接import urllib即可 发送get请求 发送post请求 ...
分类：
编程语言 时间：
2018-12-24 16:13:57
阅读次数：
165
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-12-03 15:26:25
阅读次数：
139
python2环境下关于urllib2的使用可以学习这篇文章。 本文主要针对python3环境下使用urllib模块实现简单程序爬虫。 链接：https://www.jianshu.com/p/31833117b34b urllib模块的使用 1.数据编码处理 我们通过爬虫程序可以得到网站返回的数据 ...
分类：
Web程序 时间：
2018-12-01 15:24:38
阅读次数：
214
