import 后面跟的是(module)包,是python本来写好的,或者是别人写好的,你安装到了本地的 ...
分类:
其他好文 时间:
2019-09-24 15:57:16
阅读次数:
52
urllib.urlencode() urllib和urllib2都是接受URL请求的相关参数,但是提供了不同的功能。两个最显著的不同如下: urllib仅可以接受URL,不能创建设置了headers的Request类实例; 但是urllib提供了urlencode方法用来GET查询字符串的产生,而 ...
分类:
编程语言 时间:
2019-09-22 23:57:53
阅读次数:
199
得到url response=urllib.request.urlopen(url)打开获得的url response.read().decode()# decode()将读出的信息以二进制字节形式打开, 将获得的文件输出,有方法一,方法二、方法三可以直接进行传数 方法一: with open(r' ...
分类:
编程语言 时间:
2019-09-21 20:50:17
阅读次数:
104
原理在网页源码中如果出现将用户输入数据进行反序列化当成参数输出时,出现漏洞,可造成任意命令执行例如网页源码try: become = self.get_argument('become') p = pickle.loads(urllib.unquote(become)) return self.re ...
分类:
编程语言 时间:
2019-09-18 19:44:31
阅读次数:
164
1.新建文件run.py 2.爬虫.py中重写init方法,传入参数;(字典编码以字符串形式拼接到url后边) ...
分类:
其他好文 时间:
2019-09-18 09:14:54
阅读次数:
83
[TOC] 1. python2中的urllib2改为python3中的urllib.request 2. 四种方式对比: python2的get: coding=utf 8 import urllib import urllib2 word = urllib.urlencode({"wd":"百度 ...
分类:
编程语言 时间:
2019-09-18 00:53:54
阅读次数:
95
urllib库的使用 urllib库是python标准库中最常用的PYthon网页访问的模块,它可以让用户像访问本地文本文件一样读取网页的内容。 urlib.request模块:用来打开和读取url urlib.error模块:包含一些由urlib.request产生的错误,可用try进行捕捉 ur ...
分类:
编程语言 时间:
2019-09-17 19:01:55
阅读次数:
287
python中有多种库可以用来处理http请求,比如python的原生库:urllib包、requests类库。urllib和urllib2是相互独立的模块,python3.0以上把urllib和urllib2合并成一个库了,requests库使用了urllib3。requests库的口号是“HTT ...
分类:
Web程序 时间:
2019-09-12 21:36:47
阅读次数:
157
requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests宣传是 “HTTP for Humans”,说明使用更简洁方便。 安装和文档地址: 利用pip可以非常方便的安装: 中文文档:http:/ ...
分类:
其他好文 时间:
2019-09-11 11:34:23
阅读次数:
91
前面写都是抓取一些网站上的数据,今天工作提前完成了,闲来无事写一篇如何抓取公众号数据。 爬取公众号 常见的爬取公众号有3种方法 1、通过抓包获取公众号数据(app端) 2、通过抓包获取公众号数据(PC端) 3、通过搜狗搜索公众号(目前只能显示前10篇文章) 今天写的是通过抓取PC端数据获取公众号内容 ...
分类:
其他好文 时间:
2019-09-06 18:59:49
阅读次数:
169