码迷,mamicode.com
首页 > 编程语言 > 详细

Python爬虫报错:"HTTP Error 403: Forbidden"

时间:2020-04-05 13:22:44      阅读:122      评论:0      收藏:0      [点我收藏+]

标签:javascrip   app   width   orb   span   pen   爬虫   color   urlopen   

错误原因:主要是由于该网站禁止爬虫导致的,可以在请求加上头信息,伪装成浏览器访问User-Agent。

新增user-agent信息:

headers = {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.80 Safari/537.36}
 req = request.Request(Spider.url, headers=Spider.headers)
 # 获取到的html的信息
 htmls = request.urlopen(req).read()

谷歌的user-agent查看方法:按F12打开调试工具,在控制台写:javascript:alert(navigator.userAgent),user-agent信息就会弹出

技术图片

 

 技术图片

 

Python爬虫报错:"HTTP Error 403: Forbidden"

标签:javascrip   app   width   orb   span   pen   爬虫   color   urlopen   

原文地址:https://www.cnblogs.com/syq816/p/12636721.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!