模块名及导入 常用方法详解 (一)urllib.request.urlopen()方法 1.作用 向网站发起请求并获取响应对象 2.参数 3.第一个爬虫程序 打开浏览器，输入百度地址(http://www.baidu.com/)，得到百度的响应 4.相应对象(response)方法 思考：网站如何来 ...
分类：
其他好文 时间：
2019-08-08 19:17:13
阅读次数：
88
1 from lxml import etree 2 import urllib3 3 import requests 4 urllib3.disable_warnings() 5 url="https://www.cnblogs.com/mvc/blog/news.aspx?blogApp=xia... ...
分类：
编程语言 时间：
2019-08-07 17:31:35
阅读次数：
118
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py ...
分类：
其他好文 时间：
2019-08-06 00:42:54
阅读次数：
101
from urllib import request import time import urllib import urllib.parse #根据url发送请求，获取服务器响应文件 def loadPage(url,filename): print('正在下载' + filename) hea... ...
分类：
Web程序 时间：
2019-08-05 20:29:54
阅读次数：
141
利用Urllib的robotparser模块我们可以实现网站Robots协议的分析，本节我们来简单了解一下它的用法。1.Robots协议Robots协议也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（RobotsExclusionProtocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫做robots.txt的文本文件，放在网站的根目录下。当搜索爬虫访问
分类：
编程语言 时间：
2019-08-03 23:43:39
阅读次数：
224
在前面一节我们了解了Urllib的基本用法，但是其中确实有不方便的地方。比如处理网页验证、处理Cookies等等，需要写Opener、Handler来进行处理。为了更加方便地实现这些操作，在这里就有了更为强大的库Requests，有了它，Cookies、登录验证、代理设置等等的操作都不是事儿。那么接下来就让我们来领略一下它的强大之处吧。1基本使用本节我们首先来了解下Requests库的基本使用方法
分类：
编程语言 时间：
2019-08-03 23:42:45
阅读次数：
228
在前面一节我们了解了Request的发送过程，但是在网络情况不好的情况下，出现了异常怎么办呢？这时如果我们不处理这些异常，程序很可能报错而终止运行，所以异常处理还是十分有必要的。Urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块便会抛出error模块中定义的异常，本节会对其进行详细的介绍。1.URLErrorURLError类来自Urllib库的e
分类：
编程语言 时间：
2019-08-03 23:23:01
阅读次数：
82
Urllib库里还提供了parse这个模块，它定义了处理URL的标准接口，例如实现URL各部分的抽取，合并以及链接转换。它支持如下协议的URL处理：file、ftp、gopher、hdl、http、https、imap、mailto、mms、news、nntp、prospero、rsync、rtsp、rtspu、sftp、shttp、sip、sips、snews、svn、svn+ssh、telne
分类：
编程语言 时间：
2019-08-03 23:08:27
阅读次数：
138
参考学习：https://www.cnblogs.com/alex3714/articles/8359358.html 一、urllib库介绍 urllib库，它是Python内置的HTTP请求库。它包含4个模块： request： HTTP请求模块， 可以用来模拟发送请求。 error： 异常处理 ...
分类：
编程语言 时间：
2019-08-02 00:07:51
阅读次数：
116
