Urllib库 Urllib是python内置的HTTP请求库，包括以下模块：urllib.request （请求模块）、urllib.error（ 异常处理模块）、urllib.parse （url解析模块)、urllib.robotparser （robots.txt解析模块） 一、urllib ...
分类：
编程语言 时间：
2018-02-21 20:30:43
阅读次数：
181
一、flask实现的分页组件 from urllib.parse import urlencode,quote,unquote class Pagination(object): """ 自定义分页 """ def __init__(self,current_page,total_count,bas ...
分类：
其他好文 时间：
2018-02-21 16:35:26
阅读次数：
176
下面，我再写一个例子，加强对正则表达式的理解。还是回到我们下载的那个二手房网页，在实际中，我们并不需要整个网页的内容，因此我们来改进这个程序，对网页上的信息进行过滤筛选，并保存我们需要的内容。打开chrome浏览器，右键检查。 在网页源码中找到了我们所需要的内容。为了调试程序，我们可以在 http: ...
分类：
编程语言 时间：
2018-02-20 15:36:19
阅读次数：
224
Python urllib urlretrieve函数解析 利用urllib.request.urlretrieve函数下载文件 觉得有用的话,欢迎一起讨论相互学习~ "Follow Me" 参考文献 "Urlretrieve函数解析" urllib.request.urlretrieve函数解析 ...
分类：
编程语言 时间：
2018-02-18 19:29:04
阅读次数：
222
在前几篇文章中我们使用了python的urllib模块，做了一些访问网页的工作。现在介绍一个非常强大的工具——正则表达式。在讲述正则的时候，我参考了《精通正则表达式（第三版） Jeffrey E.F.Friedl》这本书，虽然本书的参考语言并没有python，但相通之处颇多，可以细读一部分。 通常我 ...
分类：
编程语言 时间：
2018-02-17 21:23:52
阅读次数：
229
一、爬虫之requests a、介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） b、注意：requests发送请求是将网页内容下载来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的req ...
分类：
编程语言 时间：
2018-02-16 17:54:10
阅读次数：
250
Requests 是第三方模块，如果要使用的话需要导入。Requests也可以说是urllib模块的升级版，使用上更方便。 这是使用urllib的例子。 下面是Requests 模块的使用。 支持的请求： requests.get(‘https://github.com/timeline.json’ ...
分类：
编程语言 时间：
2018-02-15 16:56:20
阅读次数：
1152
一、SSL证书问题 上一篇文章，我们创建了一个小爬虫，下载了上海链家房产的几个网页。实际上我们在使用urllib联网的过程中，会遇到证书访问受限的问题。 处理HTTPS请求SSL证书验证，如果SSL证书验证不通过，会警告用户证书不受信任（即没有通过AC认证）。 上图左边我们可以看到SSL验证失败，所 ...
分类：
编程语言 时间：
2018-02-15 14:32:48
阅读次数：
204
本来只是向看一下quote_plus的作用，然后发现urlencode方法也是很方便的一个组合字符串的方法首先是介绍一下urlencode，他是将一些传入的元素使用&串联起来，效果如下： 如果加以改造，就可以直接应到生成微信支付的拼接字符串当中了： 然后就是quote_plus了，使用了一下发现这个 ...
分类：
Web程序 时间：
2018-02-12 16:47:49
阅读次数：
280
一、URL的编码与解码 在python2中包含的urllib和urllib2，都是接受URL请求相关的模块。但是在python3中，却没有urllib2。实际上urllib2的功能在python3中可以用urllib来实现。 通常编码工作，我们使用urllib.parse.urlencode()函数 ...
分类：
编程语言 时间：
2018-02-12 15:13:07
阅读次数：
204
