如何将S3的上次处理文件存储到Redshift数据库

Question

现在，我仅将数据从Amazon S3复制到使用AWS Data Pipeline的Amazon Redshift仅用于当前日期和时间。我想每30分钟将数据从S3复制到Redshift。并且最后处理的S3文件名被存储到另一个Redshift表中。

有人可以回答这个问题吗？

Answer 1

您可以使用RedshiftCopyActivity data pipeline object来做到这一点。 RedshiftCopyActivity对象中的schedule字段接受可在30分钟间隔内运行的data pipeline schedule object。您需要定义一个包含所有AWS资源信息（Redshift数据节点，EC2实例，S3存储桶&密钥）的full pipeline in JSON。 JSON模板中的源数据文件的文件路径可能指向一个静态文件，该文件会被生成数据的任何内容每30分钟覆盖一次。