2017-10-13 105 views
0

我们正试图从Pentaho Kettle转移到Apache AIrflow来执行ETL,并将所有数据流程集中到1个工具下。使用Airflow将数据从Postgres/MySQL移动到S3

我们使用水壶从Postgres/Mysql数据库每日读取数据,并将数据移至S3 - > Redshift。

这样做最简单的方法是什么?我没有看到运营商可以直接做到这一点;所以我应该使用MySQL/Postgres运算符将数据放入本地文件中,并使用S3运算符将数据移至S3?

谢谢

回答