一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:http://www.baidu.com。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用，方法如下： 1 2 3 4 5 6 7 8 ...
分类：
编程语言 时间：
2018-02-04 18:05:53
阅读次数：
278
语言：python 环境：ubuntu 爬取内容：steam游戏标签，评论，以及在 steamspy 爬取对应游戏的销量 使用相关：urllib，lxml，selenium，chrome 解释： 流程图如下 1.首先通过 steam 商店搜索页面的链接，打开 steam 搜索页面，然后用如下正则表达 ...
分类：
其他好文 时间：
2018-02-03 20:57:03
阅读次数：
496
# import urllib.request# import jsonimport requests# url = 'http://api.nnzhp.cn/api/user/stu_info?stu_name=ybq123'# res = urllib.request.urlopen(url) ...
分类：
编程语言 时间：
2018-02-03 00:44:04
阅读次数：
227
python 3.X版本是不需要安装：urllib2包的，urllib和urllib2包集合成在一个包了 那现在问题是： 在python3.x版本中，如何使用：urllib2.urlopen()？ 答： import urllib.request resp=urllib.request.urlope ...
分类：
编程语言 时间：
2018-02-01 20:44:22
阅读次数：
291
利用 urlretrieve 获取远程文件保存到本地 利用 urlopen 和 re 匹配获取远程文件中的数据 ...
分类：
Web程序 时间：
2018-02-01 00:18:02
阅读次数：
238
python3的urllib 模块提供了获取页面的功能。 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) - url: 需要打开 ...
分类：
编程语言 时间：
2018-01-29 22:29:42
阅读次数：
283
个人觉得使用BeautifulSoup匹配网页标签内容比re更容易一些，re的规则比较多而且有些使用方法比较难，很容易匹配不到 而soup方法在处理网页标签就特别容易，这和urllib.request.urlopen()和request.get()一样，后者要容易一些： 1.re 正则表达式 编译模 ...
分类：
其他好文 时间：
2018-01-27 11:25:30
阅读次数：
1418
urllib是python的一个获取url(Uniform Resource Locators,统一资源定址器)了，我们可以利用它来抓取远程的数据进行保存哦 1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None ...
分类：
编程语言 时间：
2018-01-24 19:40:38
阅读次数：
217
#__author: hasee #date: 2018/1/20 from urllib.request import urlopen, urlretrieve from urllib.parse import quote from re import findall url = 'http://... ...
分类：
其他好文 时间：
2018-01-20 11:11:21
阅读次数：
175
#open() #urlopen() #方法名称不同 #参数不同 #只能以只读模式打开网络资源文件 from urllib.request import urlopen from urllib.parse import quote from json import loads from time i... ...
分类：
其他好文 时间：
2018-01-18 22:09:08
阅读次数：
208
