apache-airflow

1热度

2回答

我在探索apache airflow 1.8。我很好奇，有没有办法将参数传递给DAGs或tasks而backfilling？下面是类似的东西，我在寻找， airflow backfill My_DAG -s some_date -e end_date argument_for_t1 argument_for_t2 ，也可能是参数的个数array。有没有办法传递参数？我搜索了很多，但无法找到

8热度

1回答

如何重新启动气流

失败的任务我使用的是LocalExecutor和我的DAG有3任务其中任务（C）是依赖于任务（A）。任务（B）和任务（A）可以并行像运行下面 A - >ç 乙所以任务（A）失败和，但任务（B）跑得很好。任务（C）在任务（A）失败时尚未运行。我的问题是我该如何重新运行任务（A），因此任务（C）运行一旦任务（A）完成并且Airflow UI将其标记为成功。

2热度

1回答

如何获得airflow dag运行的JobID？

当我们做一个dagrun时，在Airflow的UI上，在“图形视图”中，我们可以看到每个作业的详细信息。 JobID类似于“scheduled__2017-04-11T10：47：00”。我需要这个JobID进行跟踪和日志创建，其中我保持每个任务/ dagrun所花费的时间。所以我的问题是我该如何获得正在运行的同一个DAG中的JobID。感谢，阿赫亚

0热度

1回答

apache airflow scheduler not scheduling jobs

我正在使用apache airflow 1.8.0。这里输出的是当我backfill的工作。 [2017-04-13 09:42:55,857] {models.py:1126} INFO - Dependencies all met for <TaskInstance: example_bash_operator.runme_1 2017-04-13 13:43:00 [scheduled]

2热度

1回答

Apache AirFlow如何实现可扩展性？

我明白了，Airflow中的许多操作员在将数据上载到目标系统之前将数据存储在本地。这意味着工作人员节点正在做大量的工作，以防万一数据量巨大。的Airbnb（公司谁开源气流）说，早在2015年，他们曾在5000个服务工作气流集群只有6个节点。我在这里错过了什么吗？请帮助理解。

10热度

2回答

气流：模式运行的气流subdag一次

从气流文档： SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 我明白subdagoperator作为一个BackfillJob实际实现的，因此，我们

5热度

1回答

气流管理UI显示示例dags

我想在本地系统上设置Airflow。我已经使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然后我就初始化气流DB通过 airflow initdb 然后我用开始气流Web服务器： airflow webserver -p 8080 现在，当我打开本地主机：8080，管理员面板显示来自的示例dag /usr/local/lib/p