apache-airflow

2热度

2回答

我似乎无法得到这个工作。我想每天发送一个给定的文件，其名称类似于'file _ {{ds_nodash}}。csv'。问题是，我似乎无法将此名称添加为文件名，因为它似乎无法使用。在电子邮件或主题的文本完美，而不是名称。这里是DAG作为一个例子： local_file = 'file-{{ds_nodash}}.csv' send_stats_csv = EmailOperator(

1热度

2回答

Apache Camel和Apache Airflow是否重叠？它们是如何比较的？

目前，我们正在使用Apache-Camel为ETL，那就是，我们每天服用/来自不同数据库的每周/每月的出口，执行所需的操作，然后某处公布结果供其他数据库摄取。最近我看到一个Apache-Airflow谈话，在我看来，它可以做的工作，骆驼是只是做容易。更容易我的意思是它看起来会更自我记录，因此更容易维护。我对么？而为什么两者之间没有比较，就像Camel and Mule之间有比较？

0热度

1回答

如何访问来自Airflow的响应SimpleHttpOperator GET请求

我正在学习Airflow并有一个简单的问题。下面是我的DAG称为dog_retriever import airflow from airflow import DAG from airflow.operators.http_operator import SimpleHttpOperator from airflow.operators.sensors import HttpSensor

1热度

1回答

如何删除XCOM对象，一旦DAG在Airflow中完成其运行

我在XCOM中有一个巨大的json文件，稍后我不需要一旦dag执行完成，但我仍然可以在UI中看到Xcom对象数据，一旦DAG运行完成后，是否有任何方式以编程方式删除XCOM？谢谢

1热度

1回答

使用airflow将文件传输到kafka

使用气流将CSV文件传输到kafka主题的最佳方法是什么？写一个自定义的运算符用于气流？

0热度

1回答

气流1分钟后杀死我的任务

我有一个非常简单的DAG有两个任务，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',

0热度

1回答

逃生撇号

我真的试图在下列方式使用泊坞窗CLI命令添加变量： docker exec -u root airflowdags_webserver_1 bash -c "airflow variables --set my_var '{\"test\": \"test\'2\"}'" 但是，得到以下错误： bash: -c: line 0: unexpected EOF while looking for

0热度

1回答

如何在气流中启用子标签？

气流文件，它被提及如下 “Subdags必须有一个时间表，并启用即使subdags被触发作为一个更大的DAG的一部分，如果他们的日程安排设置为无或“@一旦“，这个subdag运营商就会成功而不做任何事情”。但不清楚，我们如何启用子标签。有什么办法来启用Subdag吗？

0热度

1回答

阿帕奇气流1.9从GitHub

在Debian 8安装我安装了Apache气流1.9从GitHub感谢这个命令行的debian 9：pip install git+https://github.com/apache/[email protected] 不过，我有造成Fernet的airflow initdb过程中发生错误，你知道如何解决这个问题？ INFO [alembic.runtime.migration] Running

0热度

1回答

Airflow会造成太多连接并导致MySQL RDS服务器崩溃

我正在使用Airflow连接来从RDS SQL实例中提取和处理数据。问题是该进程正在生成超过21个连接（尽管我的并发性在cfg文件中设置为4）并且RAM超载。根据我如何设置流程，我不希望每次连接超过6-8个连接。有没有一个好的cfg文件设置或管理面板选项，可以让我控制这种行为？我试过更新sql_alchemy_pool_recycle但这并没有解决问题。你可以看到系统性能开始坦克的GANT图表作