import urllib.request import urllib.parse from lxml import etree def loadPage(url): """ 作用：根据url发送请求，获取服务器响应文件 url: 需要爬取的url地址 """ #print url #美女 # he ...
分类：
编程语言 时间：
2018-02-05 20:02:01
阅读次数：
174
一.urllib.error urllib.error可以接收有urllib.request产生的异常。urllib.error有两个方法，URLError和HTTPError。如下图所示： URLError是OSError的一个子类，HTTPError是URLError的一个子类，服务器上HTTP ...
分类：
编程语言 时间：
2018-02-04 18:07:19
阅读次数：
271
一、预备知识 1.Python3.x基础知识学习： 可以在通过如下方式进行学习： (1)廖雪峰Python3教程(文档)： URL：http://www.liaoxuefeng.com/ (2)菜鸟教程Python3教程(文档)： URL：http://www.runoob.com/python3/ ...
分类：
编程语言 时间：
2018-02-04 18:06:55
阅读次数：
212
一、urlopen的url参数 Agent url不仅可以是一个字符串，例如:http://www.baidu.com。url也可以是一个Request对象，这就需要我们先定义一个Request对象，然后将这个Request对象作为urlopen的参数使用，方法如下： 1 2 3 4 5 6 7 8 ...
分类：
编程语言 时间：
2018-02-04 18:05:53
阅读次数：
278
语言：python 环境：ubuntu 爬取内容：steam游戏标签，评论，以及在 steamspy 爬取对应游戏的销量 使用相关：urllib，lxml，selenium，chrome 解释： 流程图如下 1.首先通过 steam 商店搜索页面的链接，打开 steam 搜索页面，然后用如下正则表达 ...
分类：
其他好文 时间：
2018-02-03 20:57:03
阅读次数：
496
# import urllib.request# import jsonimport requests# url = 'http://api.nnzhp.cn/api/user/stu_info?stu_name=ybq123'# res = urllib.request.urlopen(url) ...
分类：
编程语言 时间：
2018-02-03 00:44:04
阅读次数：
227
python 3.X版本是不需要安装：urllib2包的，urllib和urllib2包集合成在一个包了 那现在问题是： 在python3.x版本中，如何使用：urllib2.urlopen()？ 答： import urllib.request resp=urllib.request.urlope ...
分类：
编程语言 时间：
2018-02-01 20:44:22
阅读次数：
291
# coding=utf-8 """根据搜索词下载百度图片""" import re import sys import urllib import requests def get_onepage_urls(onepageurl): """获取单个翻页的所有图片的urls+当前翻页的下一翻页的ur... ...
分类：
编程语言 时间：
2018-02-01 00:23:11
阅读次数：
223
利用 urlretrieve 获取远程文件保存到本地 利用 urlopen 和 re 匹配获取远程文件中的数据 ...
分类：
Web程序 时间：
2018-02-01 00:18:02
阅读次数：
238
import urllib.requestimport json,requests#发送get请求# url = 'http://api.nnzhp.cn/api/user/stu_info?stu_name=小黑马'# req = requests.get(url) #发送get请求# print ...
分类：
编程语言 时间：
2018-02-01 00:06:20
阅读次数：
216
