airflow

    0热度

    1回答

    调度程序不排队作业

    我试图测试Kubernetes上的气流。调度程序，工作者，队列和Web服务器都在不同的部署上，我使用Celery Executor来运行我的任务。 除了调度程序无法排队工作以外，一切正常。当我从Web UI或CLI手动执行它时，Airflow能够正常运行我的任务，但我试图测试调度程序以使其工作。 我的配置几乎一样，因为它是在单个服务器上： sql_alchemy_conn = postgresql
    rabbitmq kubernetes airflow airflow-scheduler 2017-12-02

    0热度

    1回答

    气流1分钟后杀死我的任务

    我有一个非常简单的DAG有两个任务，如下列： default_args = { 'owner': 'me', 'start_date': dt.datetime.today(), 'retries': 0, 'retry_delay': dt.timedelta(minutes=1) } dag = DAG( 'test DAG',
    python airflow directed-acyclic-graphs apache-airflow 2017-10-17

    1热度

    1回答

    Airflow ExternalTask​​Sensor卡住

    我正在尝试使用ExternalTask​​Sensor并且卡在另一个DAG的任务中，该任务已成功完成。 这里，第一个DAG“a”完成其任务，然后通过ExternalTask​​Sensor第二个DAG“b”应该被触发。相反，它被卡在a.first_task中。 首先DAG： import datetime from airflow import DAG from airflow.operato
    python airflow 2017-10-18

    0热度

    1回答

    Airflow不会启动我的dags（激活python环境并启动python脚本）

    我想安排一个Python作业，每15分钟启动一次。我已经使用过气流，并没有遇到过任何问题。 我用今天早些时候的开始日期创建了一个dag，频率为15分钟，两个任务包括激活一个虚拟Python环境，然后启动一个python脚本。 但是，我的dags不会执行自己，所以我启动了一个web服务器来检查它的状态并且什么也没有发生。因此，我尝试使用trigger_dag命令在外部启动它，但其状态保持运行状态。我
    python airflow 2017-10-18

    1热度

    2回答

    我该如何获得dag中的execution_date？运营商的外部？

    如何在dag外部获得execution_date参数？ execution_min = "{{execution_date.strftime('%M') }}" if execution_min == '00': logging.info('**** ' + "YES, It's 00") final_task = DummyOperator( task_id='
    templates parameters jinja2 operator-keyword airflow 2017-10-18

    0热度

    1回答

    逃生撇号

    我真的试图在下列方式使用泊坞窗CLI命令添加变量： docker exec -u root airflowdags_webserver_1 bash -c "airflow variables --set my_var '{\"test\": \"test\'2\"}'" 但是，得到以下错误： bash: -c: line 0: unexpected EOF while looking for
    bash docker escaping airflow apache-airflow 2017-10-19

    1热度

    1回答

    气流回填新任务添加到Dag

    今天说是2017-10-20。我有一个现在的成功直到今天的DAG。我需要添加一个启动日期为2017-10-01的任务。如何自动从2017-10-01到2017-10-20使调度程序触发器任务成为可能？
    airflow airflow-scheduler 2017-10-20

    0热度

    1回答

    在气流中运行DAG时的“处理信号：ttou”消息

    我已经创建了示例DAG，其中我具有DAG配置，如下所示。 default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': one_min_ago, 'email': ['[email protected]'], 'email_on_failure': Tr
    python-3.x airflow 2017-12-18

    0热度

    1回答

    如何在气流中启用子标签？

    气流文件，它被提及如下 “Subdags必须有一个时间表，并启用 即使subdags被触发作为一个更大的DAG的一部分，如果他们的日程安排设置为无或“@一旦“，这个subdag运营商就会成功而不做任何事情”。 但不清楚，我们如何启用子标签。有什么办法来启用Subdag吗？
    airflow apache-airflow 2017-12-18

    0热度

    1回答

    阿帕奇气流1.9从GitHub

    在Debian 8安装我安装了Apache气流1.9从GitHub感谢这个命令行的debian 9：pip install git+https://github.com/apache/[email protected] 不过，我有造成Fernet的airflow initdb过程中发生错误，你知道如何解决这个问题？ INFO [alembic.runtime.migration] Running
    airflow apache-airflow 2017-12-27
最新问题