urllib包括以下四个模块： 1.request:基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程。 2.error：异常处理模块 3.parse：提供了许多URL处理方法，如拆分、解析、合并等 4.r ...
分类：
编程语言 时间：
2018-11-06 14:37:12
阅读次数：
120
1、四个模块： request error parse robotparser 2、urlopen(url, data, timeout) 发送请求 get请求无data； post请求有data 3、read() 获取响应体的内容 4、Handler 代理IP 5、cookie 维持登录状态 6、 ...
分类：
编程语言 时间：
2018-11-04 14:48:36
阅读次数：
169
python爬虫-基础入门-爬取整个网站《3》 描述： 前两章粗略的讲述了python2、python3爬取整个网站，这章节简单的记录一下python2、python3的区别 python2.x 使用类库： >> urllib 库 >> urllib2 库 python3.x 使用的类库： >> u ...
分类：
编程语言 时间：
2018-11-04 12:42:22
阅读次数：
146
requests介绍 requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那我们为什么要用requests而不用urllib2呢？官方文档中是这样说明的：python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一 ...
分类：
编程语言 时间：
2018-11-02 01:43:52
阅读次数：
307
前言 urllib.parse 里面三个方法：urlencode,quote,unquote详解。 在做接口自动化过程中，http协议在发送url的时候，是以urlencode的编码格式传过去的，通常requests库会帮我们自动处理了。但是服务端返回的url地址，有时候是以urlencode的编码 ...
分类：
编程语言 时间：
2018-10-30 18:51:40
阅读次数：
137
python中有多种库可以用来处理http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3。requests库的口号是“HTT ...
分类：
Web程序 时间：
2018-10-30 17:26:24
阅读次数：
147
若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了 python2.X 有这些库名可用: urllib, urllib2, urllib3, httplib, httplib2, requests python3.X 有这些库名可用: urllib, urllib3, h ...
分类：
Web程序 时间：
2018-10-29 23:34:16
阅读次数：
407
一，介绍 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urlli ...
分类：
其他好文 时间：
2018-10-29 22:56:19
阅读次数：
340
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-10-29 20:41:59
阅读次数：
197
课程简介: 这是一套目前为止我觉得最适合小白学习的体系非常完整的Python爬虫课程，使用的Python3.6的版本，用到anaconda来开发python程序，老师讲解的很细致，课程体系设置的也非常棒，完全是从浅入深一点点讲解，从Python爬虫环境的安装开始，讲解了最最基本的urllib包如何使 ...
分类：
编程语言 时间：
2018-10-28 23:30:29
阅读次数：
319
