首先，Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能，但是它的 API 不友好。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务，所以学习reuqests模块，比较简洁好用（以后慢慢会学习scapy，更强大的库） ...
分类：
编程语言 时间：
2016-04-06 22:55:38
阅读次数：
144
urllib2库做接口测试GET请求#coding=utf-8
importurllib2
response=urllib2.urlopen(‘http://localhost:8080/jenkins/api/json‘)
printresponse.read()POST请求importurllib2
importurllib
post_data=urllib.urlencode({})#传入POST请求所带的参数，此处若不需要传入参数则为..
分类：
编程语言 时间：
2016-04-05 14:12:49
阅读次数：
211
urllib2 是Python自带的标准模块， 用来发送HTTP Request的。 类似于 .NET中的， HttpWebRequest类 urllib2 的优点 Python urllib2 发出的HTTP Request， 能自动被Fiddler截获, 方便了调试。 Python 可以自动处理 ...
分类：
编程语言 时间：
2016-04-05 09:27:55
阅读次数：
179
环境：windows 7 64位；python2.7；IDE pycharm2016.1 功能： 批量下载百度贴吧某吧某页的所有帖子中的所有图片 使用方法： 1.安装python2.7，安装re模块，安装urllib2模块 2.复制以下源代码保存为tbImgiDownloader.py文件 3.打开 ...
分类：
编程语言 时间：
2016-04-03 15:47:48
阅读次数：
156
1、基本抓取网页 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到代理IP； 在urllib2包中有ProxyHandler类，通过此类可以设置代理访问网页，如下代码片段： 3、Cookies处理 cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用 ...
分类：
编程语言 时间：
2016-04-01 20:21:12
阅读次数：
263
python urllib2使用心得 1、http GET请求 过程：获取返回结果，关闭连接，打印结果 f = urllib2.urlopen(req, timeout=10) the_page = f.read() f.close()print the_page 2、http GET请求 + 包头 ...
分类：
编程语言 时间：
2016-03-31 16:54:52
阅读次数：
215
发起一个开源项目http://www.abelkhan.com/目前而言，已经用python编写了一个网络爬虫抓取页面，和一个简单的前端网络爬虫，已经有很多高手写过，我基本上奉行了拿来主义，得益于python完善的lib，这个网络爬虫实现起来非常的简单:使用urllib2从对应的url地址抓取htmldefget_pa..
分类：
其他好文 时间：
2016-03-29 22:30:17
阅读次数：
210
项目需要继续爬点昵称~~~先上代码#coding=utf-8
importurllib,urllib2
importre
frombs4importBeautifulSoup
importtime
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#获取要下载图片的整个页面的信息
defgetHtml(url):
page=urllib2.urlopen(url)
html=page.read(..
分类：
Web程序 时间：
2016-03-11 22:35:00
阅读次数：
232
接前面的博文，前面不好控制抓取的页数，现在可以较好的控制~~看看代码#coding=utf-8
importurllib,urllib2
importre
frombs4importBeautifulSoup
importtime
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#获取要下载图片的整个页面的信息
defgetHtml(url):
page=u..
分类：
其他好文 时间：
2016-03-11 22:31:53
阅读次数：
211
#coding=utf-8
importurllib2
importre
frombs4importBeautifulSoup
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
defgetHtml(url):
page=urllib2.urlopen(url)
html=page.read()
returnhtml
url="http://www.yw11.com/html/mi/3-85-0-1.htm"
user_agent=‘Mozill..
分类：
其他好文 时间：
2016-03-11 17:18:30
阅读次数：
169
