码迷,mamicode.com
首页 > Web开发 > 详细

爬虫遇到取到网页为reload的问题

时间:2014-07-10 14:34:18      阅读:310      评论:0      收藏:0      [点我收藏+]

标签:style   http   java   width   问题   cti   

有的网站防采集,会在页面加上this.window.location.reload(),这时候你就会得到如下代码:

<html>
   <head>
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
   </head>
   <body>
      <iframe height="0" width="0" style="border: 0px;" src="http://www.***.cn/***/***_cookie.html"></iframe>
      <script type="text/javascript">
setTimeout(function(){
         this.window.location.reload();
                }, 1000);
</script></body>
</html>

这样你就取不到他的网页内容了,但是浏览器可以正常显示

这时候你需要在爬虫的时候添加cookie,比较直接的就是静态的添加上浏览器访问时的cookie,也可以根据他的地址动态取(我没有试过动态取)

爬虫遇到取到网页为reload的问题,布布扣,bubuko.com

爬虫遇到取到网页为reload的问题

标签:style   http   java   width   问题   cti   

原文地址:http://www.cnblogs.com/misul/p/3832970.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!