Celery批量异步调用任务一直等待结果问题

Celery批量异步调用任务一直等待结果

采用celery中group方式进行批量异步调用，且需要等待返回结果时（未设置超时时间）

两种情况会导致任务一直等待结果：

1. 如果异步方法对异常未进行处理

直接抛出，则会导致group的job一直等待结果，如下代码：

@shared_task(bind=True)
def test_task_method(self, number, is_ignore_exception):
    try:
        logger.info('enter method')
        # if number % 10 == 0:
        #     raise Exception('throw exception')
        time.sleep(15)
    except Exception:
        logger.info(traceback.format_exc())
        if not is_ignore_exception:
            raise

2. celery出现任务task丢失情况

实际执行任务与期待任务数量不符合，则会一直等待结果。因为可能部分开发者对查看Broker和celery执行的情况命令不熟悉，这里推荐安装Flower监控celery，文档参考Flower文档。

在执行中观察celery是否掉线，

如下图：

如果出现掉线，则查看celery日志或者系统日志（/var/log/message）查看是存在进程被kill情况，

如下图：

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。