码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫的进阶用法

时间:2020-04-07 11:08:36      阅读:97      评论:0      收藏:0      [点我收藏+]

标签:rom   def   函数   --   none   div   进阶   重写   time   

应用场景:

01:

去爬虫微信公众号文章,已知requests的执行方式实际就是执行里面request方法,
我们进行重写request方法的init,加入我们需要的字段:

如  callback --获取response执行回调函数     need_proxy --是否需要代理

   fail_time --执行get获取url的失败次数   timeout = 10 

from requests import Request
TIMEOUT = 10
class WeixinRequest(Request):
    def __init__(self,url,callback,method=‘GET‘,headers=None,need_proxy=False,fail_time=0,timeout=TIMEOUT):
        Request.__init__(self,method,url,headers)
        self.callback =callback
        self.need_proxy = need_proxy
        self.fail_time = fail_time
        self.timeout = timeout

 

python爬虫的进阶用法

标签:rom   def   函数   --   none   div   进阶   重写   time   

原文地址:https://www.cnblogs.com/hero799/p/12652071.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!