码迷,mamicode.com
首页 > Web开发 > 详细

爬取动态网页中关于构造浏览器头的注意事项

时间:2018-07-26 18:31:21      阅读:150      评论:0      收藏:0      [点我收藏+]

标签:list   pre   伪造   cat   lis   header   use   服务   head   

在原来爬取动态网页图片中,获取到了图片的实际地址,但是下载下来的图片是损坏的,究其原因,是服务器端阻止了访问,但是观察发现

headers = {User-Agent: random.choice(UserAgent_List),
           Accept: "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
           Accept-Encoding: gzip,
           }

浏览器头已经构造好了。原因是什么?

实际上,动态网页是从原网页指向图片服务器的,所以在浏览器头中需要加上原来的地址,伪造出是从浏览器跳转的效果。

爬取动态网页中关于构造浏览器头的注意事项

标签:list   pre   伪造   cat   lis   header   use   服务   head   

原文地址:https://www.cnblogs.com/qian-lu/p/9372641.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!