apache-airflow

0热度

1回答

我试图用芹菜测试气流。我更改了broker_url和celery_result_backend以查看mysql。所以芹菜开始很好地连接到数据库，但是当我运行airflow flower它似乎读取默认配置条目连接到数据库。这是我所看到的日志： [I 170420 13:51:38 mixins:231] Connected to sqla+mysql://airflow:[email prote

1热度

1回答

气流任务没有被触发

我正在调度dag并显示处于运行状态，但任务没有被触发.Airflow调度程序和Web服务器已启动并正在运行。我在界面上将Dag切换为ON。我仍然无法解决问题。我正在使用CeleryExecutor尝试更改为SequentialExecutor，但没有运气。

1热度

2回答

没有网络服务器刷新dag重启apache airflow

有什么办法可以在不重启服务器的情况下实现作业吗？

2热度

1回答

使用Airflow运行.EXE和Powershell任务

我们的系统基本上只是运行C＃和Powershell应用程序以及MS SQL Server的Windows服务器。我们有一个内部的WorkflowManagement解决方案，能够运行执行EXE/BAT/PS1的任务，甚至可以调用DLL函数。现在我正在评估Apache Airflow是否是更好的解决方案。我迄今为止的天真计划是在Linux机器上运行气流调度程序，然后让消费者在Windows机器上运

8热度

1回答

如何停止/终止UI中的气流任务

如何在Airflow UI上停止/终止正在运行的任务？我正在使用LocalExecutor。即使我使用CeleryExecutor，我该如何杀死/停止正在运行的任务？

0热度

1回答

未来的气流DAGs计划

我想弄清楚如何配置/计划一个气流DAG在确切的时间每天运行两次，而不是在符合标准的同时运行两次。我想在午夜和晚上9点运行相同的任务。为此，我添加了一个cron到schedule_interval像0 0,21 * * *，所以它每天在午夜和晚上9点运行。但是今天（4月27日）的运行时间为昨天（4月26日）的00:00:00，并且00:00:00和21:00:00同时运行。预期行为将于今天（4

0热度

1回答

在Airflow UI中，我可以添加aws连接吗？

在这个example，我看到EmrCreateJobFlowOperator接收是建立在气流UI的AWS/EMR连接： cluster_creator = EmrCreateJobFlowOperator( task_id='create_job_flow', job_flow_overrides=JOB_FLOW_OVERRIDES, aws_conn_id='aws

1热度

1回答

如何将ds变量传递给dag中的函数？

我想传递变量{{ds}}中的执行日期。但是，我通过一个函数传递它，它没有得到执行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

0热度

1回答

Airflow如何连接到Spark，并且可以为Airflow中的用户设置不同的访问权限？

嗨，我还是新来的气流。我想知道Airflow如何连接到Spark？我有一台服务器与不同的帐户（或配置文件）来访问Spark群集。我不知道Airflow是否有固定的配置文件来连接火花？或者它遵循用户配置文件？另外，是否有可能为Airflow中的用户设置不同的访问权限？例如，有权访问Spark（或hdfs）中的位置A的用户A只能运行与位置A有关的任务（因此无法从位置B运行任何作业） Thanks

1热度

1回答

创建唯一的文件名并在所有气流任务中访问该文件

每当airflow dag运行并从所有任务访问该文件时，我们是否可以创建唯一的文件名？我试着创建全局变量（output_filename）并为其添加时间戳。但是，当我在任务中访问file_name时，每个任务都会生成不同的文件名，因为它正在计算每个任务中的时间戳。下面是示例代码： table_name = 'Test_ABC' start_date = datetime.now() cu