apache-airflow

0热度

1回答

Airflow具有upgradeb命令，需要在升级Airflow版本时运行。我想知道即使版本相同也能安全运行

3热度

2回答

我已经在名为tutorial_2.py（实际上是airflow教程中提供的tutorial.py的副本，但dag_id更改为tutorial_2）中定义了一个DAG。当我看看我的默认，未修改airflow.cfg（位于~/airflow），我看到dags_folder设置为/home/alex/airflow/dags。我做cd /home/alex/airflow; mkdir dags;

2热度

1回答

如何设置要使用的气流环境变量？

当试图运行一个DAG，说它无法找到一个环境变量时，气流返回一个错误，这很奇怪，因为它能够找到3个我作为Python变量存储的其他环境变量。这些变量根本没有问题。我在~/.profile，所有4个变量也做 export var1="varirable1" export var2="varirable2" export var3="varirable3" export var4="varira

5热度

1回答

气流DAG运行已触发，但从未执行？

我发现自己处于手动触发DAG运行（通过airflow trigger_dag datablocks_dag）运行的情况，并且Dag Run在界面中显示，但它会永远保持“运行”状态，而无需执行任何操作。当我在UI检查该DAG运行，我看到以下内容：我有start_date设置为datetime(2016, 1, 1)，并schedule_interval设置为@once。我的从阅读文档的理解是，

0热度

1回答

动态创建任务列表

我有一个DAG，它是通过查询DynamoDB获取列表创建的，并且列表中的每个项目都使用PythonOperator创建并将其添加到DAG中。在下面的例子中没有显示，但重要的是要注意列表中的一些项目取决于其他任务，所以我使用set_upstream来强制执行依赖关系。 - airflow_home \- dags \- workflow.py workflow.py def

2热度

2回答

虽然气流initdb的，AttributeError的：模块”对象没有属性 'client_auth'

我最近安装的Apache气流1.8.1，我执行以下命令： airflow initdb 其返回以下错误： Traceback (most recent call last): File "/usr/bin/airflow", line 18, in <module> from airflow.bin.cli import CLIFactory File "/usr/l

1热度

1回答

在气流主节点上运行一个特定的任务

我有一个使用celery executor在不同工作节点上运行的任务列表的dag。不过，我想运行主节点上的其中一个任务。那可能吗？

3热度

1回答

Airflow - BACKFILLING

有没有什么办法可以在不进行多任务的情况下依次运行回填？例如，如果我使用多个日期运行回填，例如气流回填[dag] -s“2017-07-01”-e“2017-07-10”，有什么方法可以在跑到下一个之前完成每个DAG天？现在，它正在完成每项任务的所有日子，然后再进行下一项任务。谢谢。

4热度

1回答

Airflow default on_failure_callback

在我的DAG文件中，我定义了一个on_failure_callback（）函数来发布失败时的Slack。它工作得很好，如果我指定我的DAG每个运营商：on_failure_callback = on_failure_callback（）有没有一种方法（例如，或通过我的DAG对象通过default_args）自动分派给我的所有运营商？

1热度

2回答

如何动态迭代上游任务的输出以在气流中创建并行任务？

考虑以下DAG示例，其中第一个任务get_id_creds从数据库中提取凭证列表。此操作告诉我数据库中的哪些用户能够运行进一步的数据预处理，并将这些ID写入文件/tmp/ids.txt。然后，我将这些ID扫描到我的DAG中，并使用它们生成可并行运行的upload_transaction任务列表。我的问题是：有没有更习惯性地使用气流做到这一点的正确动态方法？我在这里感到笨拙和脆弱。我如何直接将一个