[TOC] 1. python2中的urllib2改为python3中的urllib.request 2. 四种方式对比： python2的get： coding=utf 8 import urllib import urllib2 word = urllib.urlencode({"wd":"百度 ...
分类：
编程语言 时间：
2019-09-18 00:53:54
阅读次数：
95
python中有多种库可以用来处理http请求，比如python的原生库：urllib包、requests类库。urllib和urllib2是相互独立的模块，python3.0以上把urllib和urllib2合并成一个库了，requests库使用了urllib3。requests库的口号是“HTT ...
分类：
Web程序 时间：
2019-09-12 21:36:47
阅读次数：
157
"首先，这个报错是告诉你，你的证书有问题. 其次，出现这个问题的原因，在于Python本身. 问题原因 Python升级到2.7.9以后，引入了一个新特性. 当使用urllib打开https的链接时，会检验一次ssl证书. 而当目标网站使用的是自签名证书时，就会抛出urllib2.URLError的 ...
分类：
编程语言 时间：
2019-08-19 12:45:13
阅读次数：
119
时间不等人，我学爬虫的近期目的是爬取一个网站的资源，主要是在大量的伪html中访问url不断请求数据，关键问题在正则表达 和访问速度上。 1/简单的爬虫架构示例 2/ 运行流程 3/URL管理器 网页下载器-urllib2 网页解析器-正则表达式、html.paser、BeautifulSoup、I ...
分类：
编程语言 时间：
2019-08-12 23:55:50
阅读次数：
190
importurllib2,cookieliburl=‘http://www.baidu.com‘print"1"response=urllib2.urlopen(url)printresponse.getcode()printlen(response.read())print"2"request=urllib2.Request(url)re
分类：
其他好文 时间：
2019-08-08 14:56:02
阅读次数：
170
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类：
其他好文 时间：
2019-08-06 00:42:54
阅读次数：
101
一.urllib库 urllib是python自带的一个用于爬虫的库,其主要作用就是通过代码模拟浏览器发送请求,其常被用到的子模块在 python3中的为urllib.request 和 urllib.parse,在python2中的是 urllib 和 urllib2 二.由易到难首页面所有的数据 ...
分类：
编程语言 时间：
2019-07-09 19:14:09
阅读次数：
146
一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 二.由易到难的爬虫程序： 1.爬取百 ...
分类：
其他好文 时间：
2019-07-08 13:34:13
阅读次数：
90
1. Requests简介 Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它 ...
分类：
编程语言 时间：
2019-07-08 00:16:50
阅读次数：
111
python request python 访问网络资源有几种方式： python 内置有 urllib、urllib2 模块，用于访问网络资源。 通过三方模块 requests 模块（推荐） httplib2 urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。 ur ...
分类：
编程语言 时间：
2019-06-30 09:52:05
阅读次数：
118
