码迷,mamicode.com
首页 > Web开发 > 详细

Urllib.requset.Request加入请求头部

时间:2021-06-22 17:57:32      阅读:0      评论:0      收藏:0      [点我收藏+]

标签:open   lib   百度   head   header   with   bsp   gen   agent   

上一个随笔中报错:

urllib.error.HTTPError: HTTP Error 418:

百度后,加上头部得以解决。

 

urllib.request.Request

功能:声明一个request对象。可自定义header等请求信息。

 

本次,加入一个更多参数的header。

# 导入urllib
import urllib.request
# 定义一个头部
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36‘,
    ‘Referer‘:‘https://movie.douban.com/‘,
    ‘Connection‘: ‘keep-alive‘
}
# 给url加头部
_url = urllib.request.Request(‘https://movie.douban.com/‘,headers=headers)
# 打开url
response = urllib.request.urlopen(_url, None, 10)
# 读取返回的内容
html = response.read().decode(‘utf-8‘)
# 写入txt
with open(‘html‘,‘w‘,encoding=‘utf-8‘) as f:
    f.write(html)

 

Urllib.requset.Request加入请求头部

标签:open   lib   百度   head   header   with   bsp   gen   agent   

原文地址:https://www.cnblogs.com/lijunlin-py/p/14916399.html

踩
(0)
赞
(0)
   
举报
评论 一句话评论(0)
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!