与指数退避

Question

重试芹菜任务，对于这样一个任务：

from celery.decorators import task 

@task() 
def add(x, y): 
    if not x or not y: 
     raise Exception("test error") 
    return self.wait_until_server_responds(

如果它抛出一个异常，我想从守护一侧再试，后如何申请指数退避算法，即2^2, 2^3,2^4等秒？

也是从服务器端维护的重试，以便如果工作人员碰巧遇害，那么下一个产生的工作人员将采取重试任务？

Answer 1

的task.request.retries属性包含尝试次数到目前为止， 所以你可以用它来实现指数回退：

from celery.task import task 

@task(bind=True, max_retries=3) 
def update_status(self, auth, status): 
    try: 
     Twitter(auth).update_status(status) 
    except Twitter.WhaleFail as exc: 
     self.retry(exc=exc, countdown=2 ** self.request.retries) 

为了防止Thundering Herd Problem，您可以考虑增加一个随机抖动你的指数退避：

import random 
self.retry(exc=exc, countdown=int(random.uniform(2, 4) ** self.request.retries)) 

Answer 2

由于芹菜4.2（尚未公布），你可以配置你的任务自动使用指数退避的：http://docs.celeryproject.org/en/master/userguide/tasks.html#automatic-retry-for-known-exceptions

@app.task(autoretry_for=(Exception,), retry_backoff=2) 
def add(x, y): 
    ... 

不要被“版本4.1中的新增功能”所迷惑。在文档中公布，它还没有发布，请参阅merge request