import re import urllib.request # 爬取网页 def getHtml(url): page=urllib.request.urlopen(url) html=page.read() return html # 获取图片地址 def getImg(html): rule... ...
分类：
编程语言 时间：
2017-03-22 10:32:24
阅读次数：
181
BeautifulSoup 库最常用的对象恰好就是BeautifulSoup 对象。 输出结果是： <h1>An Interesting Title</h1> 和前面例子一样，我们导入urlopen，然后调用html.read() 获取网页的HTML 内容。这 样就可以把HTML 内容传到Beaut ...
分类：
编程语言 时间：
2017-03-18 18:16:55
阅读次数：
194
#coding=utf-8import sysimport os import re import urllibimport subprocess def getlocation(ip): result = urllib.urlopen("http://www.ip138.com/ips.asp?i ...
分类：
其他好文 时间：
2017-03-18 01:15:54
阅读次数：
151
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级 ...
分类：
其他好文 时间：
2017-03-05 23:45:33
阅读次数：
472
说明： 1. 导入三个模块，urllib.request.urlopen用来打开url链接，urllib.parse的urlencode方法将浏览器network里的data对象转为urlopen的第二个参数data，json.loads()方法把response.read返回的字符串转为json格 ...
分类：
编程语言 时间：
2017-03-05 12:38:05
阅读次数：
187
这个网站http://www.hbc333.com/是一个壁纸图片网站，提供各种分辨率的图片的下载，因此想写一个爬虫脚本批量下载这些图片。 经观察，2560*1600分辨率的图片的网址格式为：http://www.hbc333.com/size/2560x1600/n/ （n是页数）， 每张预览图片 ...
分类：
编程语言 时间：
2017-02-26 19:05:31
阅读次数：
160
# coding=utf-8 import urllib.request import re url = 'http://www.163.com' file = 'd:/test.html' data = urllib.request.urlopen(url).read() r1 = re.comp ...
分类：
编程语言 时间：
2017-02-26 17:49:00
阅读次数：
251
importurllib
data=urllib.parse.urlencode(params).encode(‘utf-8‘)
req=urllib.request.Request(url,data)
req.add_header(‘Content-Type‘,"application/x-www-form-urlencoded")
response=urllib.request.urlopen(req)
the_page=response.read().decode(‘utf-8‘)
print(the_..
分类：
编程语言 时间：
2017-02-23 23:03:48
阅读次数：
242
1.urllib.urlopen(url[,data[,proxies]]) 打开一个url的方法，返回一个文件对象，然后可以进行类似文件对象的操作。本例试着打开google 1 #coding:UTF8 2 3 import urllib 4 response = urllib.urlopen(" ...
分类：
编程语言 时间：
2017-02-17 11:09:25
阅读次数：
1475
1、ModuleNotFoundError: No module named 'urllib2' 在python3.x版本中，urllib和urllib2包集合成在一个包了import urllib2response = urllib2.urlopen(request)改为import urllib ...
分类：
编程语言 时间：
2017-02-15 19:03:55
阅读次数：
420
