Cookie的使用 用 Python 来登录网站, 用Cookies记录登录信息, 然后就可以抓取登录之后才能看到的信息。 什么是cookies? Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。比如说有些网站需要登录后才能访问某个页面， ...
分类：
Web程序 时间：
2017-12-10 23:02:16
阅读次数：
422
1，实现一个完整的请求和响应模型 post请求 2.请求头headers处理 将上面的代码修改，设置一下请求头中的User-Agent域和Referer域信息 User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版 ...
分类：
Web程序 时间：
2017-12-10 22:55:06
阅读次数：
267
1.Timeout设置超时 只能修改Socket设置全局Timeout 2.获取HTTP响应码 3、异常处理1 4、异常处理2 5.重定向 import urllib.request proxy_support = urllib.request.ProxyHandler({'sock5': 'loc ...
分类：
Web程序 时间：
2017-12-10 22:47:00
阅读次数：
419
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib ...
分类：
其他好文 时间：
2017-12-09 20:46:23
阅读次数：
1209
python通过get方式,post方式发送http请求和接收http响应-urllib urllib2 python通过get方式,post方式发送http请求和接收http响应-- import urllib模块,urllib2模块, httplib模块 http://blog.163.com/ ...
分类：
编程语言 时间：
2017-12-09 19:31:30
阅读次数：
353
如何用python下载一张图片 这里要用到的主要工具是 requests 这个工具，需要先安装这个库才能使用，该库衍生自 urllib 这个库，但是要比它更好用。多数人在做爬虫的时候选择它，是个不错的选择。 例如下载[http://p1.pstatp.com/large/4af100050861e2 ...
分类：
编程语言 时间：
2017-12-09 15:48:31
阅读次数：
179
urllib : 使用urllib.urlencode() 进行url编码, 在requests中自带有url编码 接受的参数是: 字典类型 urllib2: 先构建请求: request = urllib2.Request()需要三个参数: url, data, headers 再反送请求,返回响 ...
分类：
编程语言 时间：
2017-12-09 12:04:03
阅读次数：
192
1 urllib 模块 - module urllib 2 3 获取 web 页面, 4 html = urllib.request.urlopen("http://www.zzyzz.top/") 5 html2 = urllib.request.Request("http://www.zzyzz... ...
分类：
Web程序 时间：
2017-12-08 18:32:44
阅读次数：
251
以下是三种方法 ①First Method 最简单的方法 ②添加data,http header 使用Request对象 ③CookieJar import urllib.request from http import cookiejar url ='http://www.baidu.com' p... ...
分类：
编程语言 时间：
2017-12-07 22:43:33
阅读次数：
263
简介 urllib是python的一个获取url(Uniform Resource Locators，统一资源定位符)，可以用来抓取远程的数据。 常用方法 （1）urlopen urllib.request.urlopen(url, data=None,[timeout,]*,cafile=None ...
分类：
编程语言 时间：
2017-12-07 16:05:06
阅读次数：
266
