将额外的芹菜配置添加到Airflow

Question

任何人都知道在哪里可以将额外的芹菜配置添加到气流芹菜执行器？例如我想http://docs.celeryproject.org/en/latest/userguide/configuration.html#worker-pool-restarts这个属性，但我怎么让额外的芹菜属性..

Answer 1

使用刚发布的Airflow 1.9.0，这是现在可配置。

在airflow.cfg有这一行：

# Import path for celery configuration options 
celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG 

指向从导入路径Python文件。当前默认的版本可以为https://github.com/apache/incubator-airflow/blob/1.9.0/airflow/config_templates/default_celery.py

如果你需要一个设置，是不是tweakable通过该文件，然后创建一个新的模块，说“my_celery_config.py”：

CELERY_CONFIG = { 
    # .... 
} 

，并把它放在你的AIRFLOW_HOME目录（即沿着dags /文件夹），然后在配置中设置celery_config_options = my_celery_config.CELERY_CONFIG。