>>> import urllib.request>>> response = urllib.request.urlopen("http://www.fishc.com")>>> a = response.read() >>> a = a.decode("utf-8") >>> print(a) 课 ...
分类：
其他好文 时间：
2018-08-23 19:32:03
阅读次数：
194
2018-08-23 13:07:57 对于请求一些网站，我们需要加上请求头才可以完成网页的抓取，不然会得到一些错误，无法返回抓取的网页。下面，介绍两种添加请求头的方法。 方法一：借助build_opener和addheaders完成 注意：此处的headers要写为一个元组类型才可以。写为字典类型 ...
分类：
Web程序 时间：
2018-08-23 14:22:11
阅读次数：
338
reuqests库中有很多便捷的方法，比如以GET方式获得网页，在requests库中就是方法get（）,上代码 相当于urlopen的方法，得到一个Response对象，然后分别输出他的类型，状态码，相应体的类型，内容以及Cookies requests还有许多的方法比如post,put,dele ...
分类：
编程语言 时间：
2018-08-21 15:21:07
阅读次数：
158
1 from urllib.request import urlopen 2 from bs4 import BeautifulSoup 3 import re 4 import random 5 import datetime 6 7 pages = set() 8 random.seed(dat... ...
分类：
编程语言 时间：
2018-08-21 00:28:22
阅读次数：
325
urllib.urlopen() 参数: url:url或文件名 data:如果有，则变成post方法 返回： 类文件句柄 类文件句柄的常用方法： read(size) readline() readlines() close() getcode() info() 返回httplib.HttpMes ...
分类：
Web程序 时间：
2018-08-18 18:32:21
阅读次数：
205
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级 ...
分类：
Web程序 时间：
2018-08-11 22:05:46
阅读次数：
189
一.函数名的运用 函数名是一个变量,但它是一个特殊的变量,与括号配合可以执行函数的变量. 1.函数名的内存地址 2.函数名可以赋值给其他变量 3.函数名可以当做容器类的元素 4.函数名可以当做函数的参数 5.函数名可以作为函数的返回值 二.闭包 什么是闭包?闭包就是内层函数,对外层函数(非全局)的变 ...
分类：
编程语言 时间：
2018-08-10 19:48:34
阅读次数：
216
python项目中fromurllib.requestimporturlopen，导入request出问题，而进行完pipinstallrequest安装后，仍会出现该错误。错误提示：ImportError:Nomodulenamedrequest问题分析：python3.x版本与2.x版本不兼容的问题，在python2.x中urlopen模块在urllib2中。解决方法：改为fromurllib
分类：
编程语言 时间：
2018-08-09 15:45:39
阅读次数：
322
from urllib.request import urlopenfrom bs4 import BeautifulSouphtml=urlopen("http://www.pythonscraping.com/pages/page1.html")bsobj=BeautifulSoup(html. ...
分类：
其他好文 时间：
2018-08-02 11:21:58
阅读次数：
110
