码迷,mamicode.com
首页 > Web开发 > 详细

爬虫常用的 urllib 库知识点

时间:2018-07-20 22:34:23      阅读:258      评论:0      收藏:0      [点我收藏+]

标签:网络请求   jobs   检查   python3   属性   检测   iss   https   爬虫   

urllib 库

urllib 库是 Python 中一个最基本的网络请求库。它可以模仿浏览器的行为向指定的服务器发送请求,同时可以保存服务器返回的数据。

urlopen()

在 Python3 的 urllib 库中,所有和网络请求的相关方法都被集中到 urllib.request 模块下了。以下是 urlopen() 方法最基本的使用方法:

from urllib import request
resp = request.urlopen(‘https://www.baidu.com‘)
print(resp.read())

上面的代码执行完毕后在终端会打印出百度首页的源代码。

urlopen() 方法可以写两个参数(常用的):

  • url:请求的 url
  • data:请求的 data,如果设置了这个值,那么将变成 post 请求

urlopen() 方法的返回值是一个 http.client.HPPTResponse 对象,这个对象是一个类文件句柄对象。有 read(size)readline()readlines() 以及 getcode() 等方法。

urlretrieve()

这个方法可以方便的将网页上的一个文件保存到本地。以下代码可以非常方便的将百度的首页下载到本地:

from urllib import request
request.urlretrieve(‘http://www.baidu.com/‘, ‘baidu.html‘)

urlencode()

若 ulr 中包含了中文或其他特殊字符,则浏览器会自动给我们进行编码。要用爬虫模拟浏览器,就需要进行手动编码,此时就要用到 urlencode() 方法来实现。这个方法可以把字典数据转换为 url 编码的数据。例如:

from urllib import parse

url = ‘https://www.baidu.com/s‘

params = {"wd": "教学设计"}
qs = parse.urlencode(params)
url = url + "?ie=UTF-8&&" + qs
print(qs)
print(url)
resp = request.urlopen(url)
print(resp.read())

parse_qs()

此方法可以将经过编码后的 ulr 参数进行解码。例如:

from urllib import parse

params = {‘name‘: ‘木易‘, ‘age‘: ‘21‘, ‘sex‘: ‘male‘}
qs = parse.urlencode(params)
result = parse.parse_qs(qs)
print(result)

urlparse() 和 urlsplit()

这两个方法用来对 url 的各个组成部分进行分割。最后可以一次性拿到全部的 url 组成部分,也可以单独拿出某个部分。例如:

from urllib import parse

url = ‘https://baike.baidu.com/item/hello%20world/85501?fr=aladdin#2_13‘

result = parse.urlparse(url)
print(result) //拿出全部
// 分别拿出各个部分
print(‘scheme:‘, result.scheme)
print(‘netloc:‘, result.netloc)
print(‘path:‘, result.path)
print(‘params:‘,result.params)  // urlsplit() 方法没有此项结果
print(‘query:‘, result.query)
print(‘fragment:‘, result.fragment)

urlparse()urlsplit() 基本上是一模一样的,有一个不一样的地方是,urlparse() 里多了一个 “params” 属性,而 urlsplit() 没有这个 params 属性。例如有一个 url 为:“https://www.baidu.com/s;hello?wd=python&username=abc#1”,那么 urlparse() 可以的 “params” 获取到 “hello”,而 urlsplit() 则不可以。

request.Request 类

如果想要伪装爬虫,就要在请求的时候增加一些请求头,那么就必须使用 request.Request 类来实现,比如下面请求拉勾网的这段代码:

from urllib import request, parse

url = ‘https://www.lagou.com/jobs/positionAjax.json?px=default&gx=%E5%85%A8%E8%81%8C&needAddtionalResult=false&isSchoolJob=1‘

// 这里的 User-Agent 和 Referer 参数是我先用 Chrome 访问再用F12检查得到的,下面的 data 也是
headers = {
    ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36‘,
    ‘Referer‘: ‘https://www.lagou.com/jobs/list_Go?px=default&gx=%E5%85%A8%E8%81%8C&gj=&isSchoolJob=1&city=%E5%85%A8%E5%9B%BD‘
}

data = {
    ‘first‘: ‘true‘,
    ‘pn‘: 1,
    ‘kd‘: ‘python‘
}

req = request.Request(url, headers=headers, data=parse.urlencode(data).encode(‘utf-8‘), method=‘POST‘)
resp = request.urlopen(req)
print(resp.read().decode(‘utf-8‘))

ProxyHandler 处理器(代理设置)

许多网站会检测某一时间段某个 IP 的访问次数(通过流量统计,系统日志等),如果访问次数多得不像正常人,它会禁止这个 IP 的访问。所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算 IP 被禁止,依然可以换个 IP 继续爬取数据。
urllib 中通过 ProxyHandler 来设置使用代理服务器,下面代码说明如何使用自定义 opener 来使用代理:

from urllib import request

# 未使用代理
url = ‘http://httpbin.org/ip‘
resp = request.urlopen(url)
print(resp.read())

# 使用代理
# 1.使用 ProxyHandler,传入代理构建一个handler
handler = request.ProxyHandler({"https": "183.163.40.223:31773"})
# 2.使用上面创建的handler构建一个opener
opener = request.build_opener(handler)
# 3.使用opener发送一个请求
resp = opener.open(url)
print(resp.read())

可以通过 http://httpbin.org/ip 查看自己电脑网络的外网 IP 地址
常用的代理有:
- 西刺免费代理IP:http://www.xicidaili.com/
- 快代理:https://www.kuaidaili.com/
- 代理云:http://www.dailiyun.com/

爬虫常用的 urllib 库知识点

标签:网络请求   jobs   检查   python3   属性   检测   iss   https   爬虫   

原文地址:https://www.cnblogs.com/muyisir/p/9339401.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!