将数据从AWS S3复制到Aurora Postgres

Question

我试图将数据从AWS S3复制到Aurora Postgres。目前，我的过程如下：在本地从S3

1. 下载文件（在EC2实例）
2. 运行“COPY FROM STDIN ...”命令从输入流中的数据加载到极光的Postgres。

我想知道是否有命令直接从S3复制到Aurora postgres。

Answer 1

这从AWS的博客文章中提到，并能与AWS Database Migration service

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS这样做可以读取源S3桶数据，并将它们加载到目标数据库中。为此，请提供对包含一个或多个数据文件的S3存储桶的访问。在该S3存储桶中，包含一个JSON文件，该文件描述这些文件中数据和数据库数据库表之间的映射关系。

源数据文件必须采用逗号分隔值（CSV）格式。使用下面显示的命名约定命名这些文件。在这个约定中，schemaName是源模式，而tableName是该模式中的表的名称。