码迷,mamicode.com
首页 > 其他好文 > 详细

Python学习之异常重试解决方法详解

时间:2017-04-25 17:30:38      阅读:736      评论:0      收藏:0      [点我收藏+]

标签:

本文和大家分享的是在使用python 进行数据抓取中,异常重试相关解决办法,一起来看看吧,希望对大家学习python有所帮助。
在做数据抓取的时候,经常遇到由于网络问题导致的程序保存,先前只是记录了错误内容,并对错误内容进行后期处理。
原先的流程:
defcrawl_page(url):
 pass
deflog_error(url):
 pass
url = "" try:
crawl_page(url) except:
log_error(url)
改进后的流程:
attempts = 0
success =  Falsewhile attempts < 3  and  not success:
 try:
crawl_page(url)
success =  True
 except:
attempts += 1
 if attempts == 3:
 break
最近发现的新的解决方案:retrying
retrying 是一个  Python 的重试包,可以用来自动重试一些可能运行失败的程序段。 retrying 提供一个装饰器函数 retry ,被装饰的函数就会在运行失败的条件下重新执行,默认只要一直报错就会不断重试。
importrandom
fromretryingimportretry
@retry
defdo_something_unreliable():
 if random.randint(0, 10) > 1:
raiseIOError("Broken sauce, everything is hosed!!!111one")
 else:
 return "Awesome sauce!"
printdo_something_unreliable()
如果我们运行have_a_try 函数,那么直到 random.randint 返回 5 ,它才会执行结束,否则会一直重新执行。
retry 还可以接受一些参数,这个从源码中 Retrying 类的初始化函数可以看到可选的参数:
· stop_max_attempt_number :用来设定最大的尝试次数,超过该次数就停止重试
· stop_max_delay :比如设置成 10000 ,那么从被装饰的函数开始执行的时间点开始,到函数成功运行结束或者失败报错中止的时间点,只要这段时间超过 10 秒,函数就不会再执行了
· wait_fixed :设置在两次 retrying 之间的停留时间
· wait_random_min 和 wait_random_max :用随机的方式产生两次 retrying 之间的停留时间
· wait_exponential_multiplier 和 wait_exponential_max :以指数的形式产生两次 retrying 之间的停留时间,产生的值为 2^previous_attempt_number * wait_exponential_multiplier ,previous_attempt_number 是前面已经 retry 的次数,如果产生的这个值超过了 wait_exponential_max 的大小,那么之后两个 retrying 之间的停留值都为 wait_exponential_max 。这个设计迎合了 exponential backoff 算法,可以减轻阻塞的情况。
·  我们可以指定要在出现哪些异常的时候再去 retry ,这个要用 retry_on_exception 传入一个函数对象:
defretry_if_io_error(exception):
 return isinstance(exception, IOError)
@retry(retry_on_exception=retry_if_io_error)
defread_a_file():
withopen("file", "r")  as f:
 return f.read()
在执行read_a_file 函数的过程中,如果报出异常,那么这个异常会以形参 exception 传入retry_if_io_error 函数中,如果 exception 是 IOError 那么就进行 retry ,如果不是就停止运行并抛出异常。
我们还可以指定要在得到哪些结果的时候去retry ,这个要用 retry_on_result 传入一个函数对象:
defretry_if_result_none(result):
 return resultis None
@retry(retry_on_result=retry_if_result_none)
defget_result():
 return None
在执行get_result 成功后,会将函数的返回值通过形参 result 的形式传入 retry_if_result_none 函数中,如果返回值是 None 那么就进行 retry ,否则就结束并返回函数值。
来源: 标点符

Python学习之异常重试解决方法详解

标签:

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
jiangjie190
加入时间:2016-02-19
  关注此人  发短消息
文章分类
jiangjie190”关注的人------(0
jiangjie190”的粉丝们------(0
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!