1.什么是Urllib(官网地址:https://docs.python.org/3/library/urllib.html#module-urllib) Urllib是python内置的HTTP请求库 包括以下模块: urllib.request 请求模块 urllib.error 异常处理模块 ...
分类:
编程语言 时间:
2019-01-19 11:08:56
阅读次数:
258
urllib库 简介 urllib是python内置的HTTP请求库。它包含以下4个模块: request : 最基本的HTTP请求模块。用于模拟发送请求。 error : 异常处理模块。用于捕获异常,排除错误对程序正常进行的干扰。 parse : 工具模块。用于处理URL,如拆分、合并、解析。 r ...
分类:
Web程序 时间:
2019-01-17 00:32:12
阅读次数:
243
shutil模块: 高级的文件、文件夹、压缩包处理模块 json和pickle模块 之前学过eval内置方法可以将一个字符串转化成Python对象,但eval方法是有局限性的,对于普通的数据类型,json.loads、eval都可以使用,但遇到特殊类型的时候,eval就不能使用了, 所以eval的重 ...
分类:
Web程序 时间:
2019-01-14 17:19:25
阅读次数:
213
什么是Urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块 -->用来模拟发送请求 类似于输入网址敲击回车的过程urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots. ...
分类:
Web程序 时间:
2019-01-10 21:54:50
阅读次数:
217
Apache 的三种工作模式(Prefork、Worker、Event) Web服务器Apache目前一共有三种稳定的MPM(Multi-Processing Module,多进程处理模块)模式。 它们分别是prefork,worker、event,它们同时也代表这Apache的演变和发展。 本文原 ...
分类:
Web程序 时间:
2019-01-06 14:31:11
阅读次数:
242
今天在使用node处理模块gm的时候,总是无法正常使用,报:The gm/convert binaries can't be found(找不到gm/convert二进制文件) google了一下,发现系统缺少必要的组件, 我使用的是win7系统,在安装以下组建后可以正常使用了 Ghostscrip ...
分类:
其他好文 时间:
2018-12-27 21:23:24
阅读次数:
840
在UI自动化测试过程中,经常会遇到一些下拉框,如果我们基于Webdriver操作的话就需要click两次,而且很容易出现问题,实际上Selenium给我们提供了专门的Select(下拉框处理模块) ...
本篇将介绍urllib2的Get和Post方法,更多内容请参考:python学习指南 urllib2默认只支持HTTP/HTTPS的GET和POST方法 urllib.urlencode() urllib和urllib2都是接受URL请求的相关参数,但是提供了不同的功能。两个最显著的不同如下: ur ...
分类:
编程语言 时间:
2018-12-18 00:09:06
阅读次数:
280
请求反向代理: 1.注意nginx代理的是请求,nginx代理服务器作用是把请求转发到目标服务器,而不是替代客服端直接访问目标服务; 2.访问目标服务器。客户端request使用代理服务器的域访问,nginx接到请求,处理模块处理,根据location匹配规则,转发到目标服务器, 目标服务器不知道是 ...
分类:
其他好文 时间:
2018-12-15 13:56:27
阅读次数:
180
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地。 先看链家网的源码。。房价信息 都保存在 ul 下的li 里面 ? 爬虫结构: ? 其中封装了一个数据库处理模块,还有一个user-agent池。。 先看mylianjia.py # -*- coding: u ...
分类:
编程语言 时间:
2018-11-24 18:55:07
阅读次数:
192