import re from urllib.request import urlopen def getPage(url): response = urlopen(url) return response.read().decode('utf-8') def parsePage(s): ret = ... ...
分类：
其他好文 时间：
2018-12-08 22:26:07
阅读次数：
192
1 ''' 2 构建代理集群/队列 3 每次访问服务器，随机抽取一个代理 4 抽取可以使用 random.choice 5 6 分析步骤： 7 1. 构建代理群 8 2. 每次访问，随机选取代理并执行 9 ''' 10 11 12 from urllib import request, error ... ...
分类：
编程语言 时间：
2018-12-08 11:12:38
阅读次数：
304
Python3 urllib.parse 常用函数示例 http://blog.51cto.com/walkerqt/1766670 http://blog.51cto.com/walkerqt/1766670 1、获取url参数。 >>> from urllib import parse >>> ...
分类：
编程语言 时间：
2018-12-06 23:23:30
阅读次数：
187
需要引入的包 urllib、urllib2（urllib 和urllib2都是接受URL请求的相关模块，但是提供了不同的功能。） time random hashlib（提供了常见的摘要算法，如MD5，SHA1等等） hmac（使用hmac实现带key的哈希） base64（Base64是一种用64 ...
分类：
其他好文 时间：
2018-12-06 01:33:06
阅读次数：
204
环境: Mac 10.13.6 python3.7 代码 报错如下urllib.error.URLError: ...
分类：
编程语言 时间：
2018-12-05 22:32:23
阅读次数：
246
urllib.request urllib.parse requests import requests response = requests.get('http://www.baidu.com/') print(response.url) print(response.text) print(r ...
分类：
其他好文 时间：
2018-12-03 22:11:36
阅读次数：
426
一.urllib库 概念：urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib和urllib2。 使用流程： 指定url 基于u ...
分类：
Web程序 时间：
2018-12-03 15:26:25
阅读次数：
139
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib ...
分类：
编程语言 时间：
2018-12-03 12:49:44
阅读次数：
233
#!/bin/env python#coding=utf-8 import sysimport urllib2import jsonimport datetimeimport pymysql as MySQLdbimport timefrom itertools import islice relo ...
分类：
数据库 时间：
2018-12-01 22:05:14
阅读次数：
235
Requests：让HTTP服务人类！ OK，开始愉快的学习requests库吧，在python的标准库中，虽然提供了urllib,utllib2,httplib，但是 做接口测试，requests真心好，正如官方说的，“让HTTP服务人类”，一言以蔽之，说明一切，关于它的方法论 这里不是讨论的重点 ...
分类：
其他好文 时间：
2018-12-01 15:30:24
阅读次数：
162
